可视化资源

RNN 隐状态:滚动的记忆

循环神经网络(RNN)读一句话,不是一眼看完,而是一个词一个词地读,边读边在心里记一份“笔记”——这份笔记就是隐状态。每读一个新词,它把笔记和新词揉在一起,更新成新的笔记,再往下传。关键有两点:①这份笔记是一份滚动的记忆,把前面看过的都压缩在里面;②每一步用的是同一套权重(同一个 RNN 单元反复使用)。点“下一步”,看隐状态怎样一格一格被读进来的词改写、向右传递。

底部是依次读入的词;中间紫色是 RNN 单元(每步都是同一个);上面 4 根小条是隐状态向量(蓝负/红正)。绿色箭头是上一份笔记传给下一步。

读了 0 个词
隐状态=滚动记忆

它把读过的内容压缩进一个向量,一路携带、不断更新。

权重共享

每个时间步用的是同一套参数——所以 RNN 能处理任意长度的序列。

顺序处理

信息从左到右一步步流动,天然适合语言、语音、时间序列。