偏差与方差
模型的误差可以拆成两部分。偏差：模型太简单，根本抓不住真实规律，怎么训都偏；方差：模型太灵活，换一批训练数据，学出来的东西就大变样、很不稳定。理想是两者都小，但它们往往此消彼长——这正是过拟合''的另一面。拖动复杂度，看在多份不同数据上学出的曲线，是齐刷刷地偏’‘还是``乱七八糟地飘’‘。
金色虚线是真实规律。每条淡蓝线是用一份不同的随机训练数据学出来的模型，深蓝线是它们的平均。看复杂度低和高时，这些淡蓝线的``齐''与``散''。
8 份数据各自学出的曲线
误差的两个来源
偏差²（平均线离真实有多远）—
方差（各条线之间有多散）—
合计（偏差² + 方差）—
高偏差（太简单）
曲线齐刷刷地挤在一起，却整体偏离真实——模型表达力不够，欠拟合。
高方差（太复杂）
换份数据就学出完全不同的曲线，乱飘——模型把噪声也学了，过拟合。
折中最好
总误差 = 偏差² + 方差，在中等复杂度处最低；这就是要``恰到好处''的原因。