可视化资源

困惑度：模型有多惊讶

怎么衡量一个语言模型“好不好”？看它读句子时有多惊讶。模型每读到一个词，都会先预测它的概率：如果它早就料到这个词（给了高概率），就不惊讶；如果完全没想到（给了低概率），就很惊讶。把整句话每个词的“惊讶程度”平均一下、再取指数，就得到困惑度（perplexity）。它有个直观含义：模型平均像是在多少个词里瞎猜——困惑度 2 表示它基本在二选一，困惑度 500 表示它几乎在五百个词里乱蒙。困惑度越低，模型越好。切换不同水平的模型，看同一句话的困惑度差多少。