评价准则

• 谈谈评价指标中的宏平均和微平均
• 分类器的性能表现评价（混淆矩阵，准确率，召回率，F1,mAP、ROC曲线）
• python + sklearn ︱分类效果评估——acc、recall、F1、ROC、回归、距离
• 准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure

---

对于二分类问题，可将样例根据其真实类别和分类器预测类别划分为：

0	1	2	真实类别	预测类别
真正例	True Positive	TP	正例	正例
假正例	False Positive	FP	负例	正例
假负例	False Negative	FN	正例	负例
真负例	True Negative	TN	负例	负例

然后可以构建混淆矩阵（Confusion Matrix）如下表所示：

-	预测 正例	预测 负例
真实 正例	TP	FN
真实 负例	FP	TN

---

$$\text{测试集：} X_{test} = \{(x_i, y_i) | i = 1, 2, ..., N \}$$ $$N \text{：表示测试集中的样本个数}$$ $$x_i \text{：表示测试集中的数据样本}$$ $$y_i \text{：表示数据样本的类别号}$$ $$\text{假设要研究的分类问题含有 m 个类别，则} y_i \in \{c_1, c_2, ..., c_m \}$$ $$\text{在分类问题中对于测试集的第j个类别，假设被正确分类的样本数量为} TP_j$$ $$\text{被错误分类的样本数量为} FN_j$$ $$\text{其它类别被错误分类为该类的样本数量为} FP_j$$

---

精确度

$$Accuracy = \frac {\sum_{j=1}^mTP_j} {N} = \frac {TP+TN} {N}$$ $$= \frac { \text{分类正确的样本个数} } { \text{分类的所有样本个数} }$$

查全率/召回率 R

• 第j个类别的查全率表示在本类样本中，被正确分类的样本所占的比例，它表示这个类别的分类精度

$$Recall_j = \frac {TP_j} {TP_j + FN_j} , 1 \leq j \leq m$$

查准率/准确率 P

• 第j个类别的查准率表示被分类为该类的样本中，真正属于该类的样本所占的比例，它表示这个类别的分类纯度

$$Precision_j = \frac {TP_j} {TP_j + FP_j} , 1 \leq j \leq m$$

F1 标准

• F1 值比较合理地评价分类器对每一类样本的分类性能。

$$F_\beta = \frac {(1 + \beta^2) * P * R} {(\beta^2 * P) + R}$$ $$F1 = \frac {2 * R_j * P_j} {R_j + P_j} , 1 \leq j \leq m, \beta = 1$$ $$= \frac {2} {1/P + 1/R}$$

---

宏平均 Macro-averaging

• 先对每一个类统计指标值，然后在对所有类求算术平均值

$$Macro\_P = \frac{1}{n}\sum_{i=1}^mP_i$$ $$Macro\_R = \frac{1}{n}\sum_{i=1}^mR_i$$ $$Macro\_F1 = \frac {2 * Macro\_P * Macro\_R} {Macro\_P + Macro\_R}$$ $$Averaged\_F1 = \frac{1}{n}\sum_{i=1}^mF1_i$$

微平均 Micro-averaging

• 对数据集中的每一个实例不分类别进行统计建立全局混淆矩阵，然后计算相应指标

$$Micro\_P = \frac {\sum_{i=1}^mTP_i} {\sum_{i=1}^mTP_i + \sum_{i=1}^mFP_i}$$ $$= \frac {\sum_{i=1}^mTP_i} {N}$$ $$Micro\_R = \frac {\sum_{i=1}^mTP_i} {\sum_{i=1}^mTP_i + \sum_{i=1}^mFN_i}$$ $$= \frac {\sum_{i=1}^mTP_i} {N}$$ $$Micro\_F1 = \frac {2 * Micro\_P * Micro\_R} {Micro\_P + Micro\_R}$$ $$\text{如果对所有类别求微平均，那么上面三个值是相等的，且 = accuracy。}$$ $$\text{如果数据集中各个类的分布不平衡的话，建议使用微平均，宏平均没有考虑到各个类别的样本大小。}$$

---