精确率与召回率
判断一个模型``准不准’‘,光看准确率往往不够。比如查垃圾邮件:你可以把阈值调得很松,把可疑的全拦下来——召回率(该抓的都抓到了)很高,但精确率(抓的里面有多少真是垃圾)会下降,好邮件也被误杀。这两个指标天生此消彼长。拖动判定阈值,亲眼看它俩怎么互相拉扯。
每个点是一封邮件:蓝点=真垃圾,红点=正常邮件,横轴是模型打的``垃圾分''。竖线右边会被判为垃圾。拖动它看四种结果和指标怎么变。
混淆矩阵
实际垃圾
实际正常
判为垃圾
0抓对 TP
0误杀 FP
判为正常
0漏掉 FN
0放对 TN
精确率(抓的里多少是真垃圾)—
召回率(真垃圾抓到多少)—
ROC 曲线(整体能力)
横轴=误杀率 纵轴=抓到率 AUC=—