受限玻尔兹曼机：压成特征，再重构回来
受限玻尔兹曼机（RBM）有两层：能看见的可见层（这里是图像像素）和看不见的隐藏层（少量特征单元）。“受限”指的是层内没有连接，只有可见↔隐藏之间全连着，而且来回用同一套权重。它的招牌动作是来回采样：先由图像算出隐单元（编码 v→h），再只凭这几个隐单元把图像画回来（重构 h→v′）。训练后，每个隐单元会学成一个特征检测器——于是 35 个像素被压进 3 个特征，重构时把激活的特征叠加起来，反而能把输入里的噪声滤掉。给一张带噪的数字，点“下一步”，看它被编码、再被干净地重构出来。
左边是带噪输入 v；中间 3 个隐单元各自显示它学到的特征（一个数字模板），点亮程度＝被激活的强度；右边是只凭隐单元重构出的 v′。层内无连接，每个像素与每个隐单元全连接，来回共用权重。
受限＝层内无连接
只有可见↔隐藏之间相连，来回共用同一套权重——这让条件分布好算、能高效采样。
隐单元＝学到的特征
训练后每个隐单元变成一个特征检测器；35 个像素被压成 3 个特征，是一种瓶颈编码。
重构＝叠加激活的特征
只凭激活的隐单元重画图像，画不出噪声，于是输入被去噪／补全——堆叠多层即深度信念网络。