词向量类比

模型把每个词变成一串数字（一个“向量”），相近意思的词靠得近。神奇的是，这些向量还藏着“关系”：“国王”减去“男人”、再加上“女人”,结果竟然正好落在“王后”附近——因为“性别”这层关系，在向量空间里是一个固定的方向。下面用二维示意图看看这种“词向量算术”。

真实词向量有几百维，这里压成二维示意。选一个类比“A 之于 B，正如 C 之于？”,看蓝色关系箭头被平移到 C 上，金点落在哪个词附近。

关系 = 方向

“男→女”和“国王→王后”是同一个方向、同一段位移——性别这层意思被编码成了一个向量。

词向量算术

B − A + C 把“A→B”的关系搬到 C 上，落点附近的词就是类比的答案。

怎么来的

这些向量不是人工设定，而是模型读海量文本、根据上下文自动学出来的。