决策树与信息增益
决策树用一连串“是非问题”做判断：先问“某个特征是否大于某个值”，把数据切成两半，再在每半里继续问，直到每块里基本只剩一类。问题是——每一步该挑哪个特征、切在哪儿？答案是让混乱程度（熵）下降得最多的那一刀，下降的量就叫“信息增益”。拖动深度，看它一刀刀把平面切成越来越“纯”的区域。
蓝点、红点是两类数据。每加一层深度，决策树就在每个区域里选信息增益最大的一刀（横切或竖切）。背景按该区域的多数类着色——切得越深，每块越“纯”。
熵 = 混乱度
一块区域里两类各占一半时最“乱”（熵最大）；只剩一类时最“纯”（熵为 0）。
信息增益 = 选刀准则
切一刀后熵下降多少，就是这刀的信息增益；每步都选增益最大的那刀。
越切越纯
不停切分直到每块基本同类；切太深会把噪声也学进去（过拟合），需要剪枝。