可视化资源

AdaBoost:串起一堆弱分类器

一条横平竖直的线(一个“树桩”弱分类器)只比瞎猜强一点点。AdaBoost 的想法是把许多这样的弱分类器串起来纠错:每加一个,就盯住上一轮被分错的样本、加大它们的权重,逼下一个分类器专攻这些难点;最后让所有弱分类器加权投票——投得准的票更重。和并联取平均的 Bagging 不同,AdaBoost 是一根接一根、越接越准。这里要分的两类被一条斜线隔开,而每个弱分类器只能横切或竖切;看 AdaBoost 怎样用一串横竖刀拼出一道贴合斜线的“楼梯”。

蓝点(左下)、红点(右上)被一条斜线分开。每一步加一个弱分类器(虚线,只能横/竖切)。点越大=当前权重越高(越受重视),深色圈=当前还被分错。背景是“加权投票”后的判定区域——看它怎样一步步贴近真实边界。

串联纠错

每加一个弱分类器,就放大上一轮被分错样本的权重,逼下一个去专攻这些难点。

弱分类器

单个“树桩”只切一刀、只比随机好一点;关键是它们能各管一段、互补。

加权投票

最终预测=所有弱分类器按权重 α 投票,错误率越低的票越重——合议出强分类器。

延伸阅读