可视化资源

神经元拼曲线

神经网络凭什么能拟合各种复杂的关系?秘密其实很朴素:每个神经元(配上 ReLU 这种激活函数)只会做一件最简单的事——画一条折一下''的线。但把很多条这样的折线叠加起来,就能拼出任意复杂的曲线。拖动神经元个数’‘,看金色的拟合曲线怎样一步步贴近灰色目标。

灰色虚线是要拟合的目标曲线。淡蓝细线是每个神经元各自贡献的``折线'',金色粗线是它们叠加出来的结果。神经元越多,金线越贴合目标。

3 误差 —
叠加结果 目标曲线 单个神经元
一个神经元 = 一条折线

ReLU 让每个神经元在某个位置``折一下'':之前是平的,之后是一段斜线。

叠加 = 拼形状

把许多折线加在一起,折点越多,拼出的曲线就越精细。

万能近似

理论上,只要神经元够多,这样一层网络就能逼近几乎任意连续函数。