k 近邻 KNN
最朴素的分类器之一:要判断一个新点是哪一类,就看离它最近的 k 个“邻居”都是什么类,谁多就归谁。它根本不“训练”,把数据记住就行。简单归简单,效果常常不差。关键的旋钮是 k:k 太小,决策边界跟着个别点抖得很碎(容易被噪声带偏);k 太大,边界平滑但可能糊掉细节。拖动黑色查询点,调 k,看它的邻居和整片决策边界怎么变。
背景按“这个位置会被分成哪类”着色(淡蓝/淡红),交界处就是决策边界。拖动黑点,金圈是它最近的 k 个邻居,它们投票决定黑点的类别。
邻居投票
找最近的 k 个点,多数表决——不需要训练,记住数据就能用。
k 小 → 碎
k=1 只看最近一个,边界贴着每个点扭曲,容易过拟合、被噪声影响。
k 大 → 平
k 大时多数人说了算,边界更平滑稳健,但太大就抹掉了局部细节。