温度采样
大模型每写一个字,其实都是在一堆候选词里抽签''——每个词有多大概率被抽中,由模型算出来。但抽签的随机程度’‘可以调,这个旋钮就叫``温度’‘。温度低,它几乎只抽最稳的那个,保守但容易重复;温度高,连冷门词都有机会,有创意但也容易胡说。拖一下温度,看概率条怎么变。
下面是模型预测``今天天气真''之后可能接的词,以及各自的概率。温度只改变``抽签''的随机程度,不改变模型的原始打分。
今天天气真 …
低温(→0)
几乎总抽概率最高的词,输出稳定、可复现,但容易呆板、重复。
高温(→大)
各词概率被拉平,冷门词也可能冒出来,更有创意,但也更容易跑题、胡说。
top-p 截断
只在``最可能的一撮''词里抽签,砍掉长尾里那些离谱的选项,兼顾多样和靠谱。