MCMC 采样
有时我们想从一个复杂分布里“抽样”(比如贝叶斯里的后验分布),但这个分布形状古怪、没法直接抽。MCMC(马尔可夫链蒙特卡洛)给了一个聪明的随机游走办法:从某个点出发,每步随机往旁边迈一小步——如果新位置概率更高就去,概率更低也按比例有机会去(这点很关键,让它不会卡在一个峰里)。走着走着,停留过的点就会自动按目标分布的密度铺开:高概率的地方点密、低概率的地方点疏。点“开始游走”,看金色样本怎么慢慢勾勒出背后的分布。
背景的青色浓淡是目标分布(越浓概率越高,这里是两个“山峰”)。红点是当前游走者,金点是它一路接受的样本。看金点怎么聚成和背景一样的形状。
随机游走
每步在附近随机提议一个新位置,不用知道分布的全貌,只要能比较两点的概率。
概率高就多留
新点概率高就接受,低也按比例有机会接受——于是停留次数正比于概率密度。
为什么有用
贝叶斯推断、复杂模型的后验大多没法直接算,MCMC 是从中采样的主力工具。