优化算法对比
不同优化器在损失面上的轨迹差异：SGD / Momentum / NAG / Adagrad / RMSprop / Adam。
三维损失面上的优化轨迹
本页 GIF 由作者制作，原始视频版本：opt-3d.mov
交互式资源
Why Momentum Really Works ↗
distill.pub 的交互式文章，从凸优化的角度解释动量为什么有效。
Sebastian Ruder：梯度下降综述 ↗
系统综述 SGD 各变种的数学形式与适用场景。
补充说明：二维损失面还可以用来观察鞍点、平坦区和狭长谷地；本页先聚焦不同优化器的轨迹，下面的交互文章提供了更多经典场景。