我要评论问题：上一篇的案例，真的患癌症的，能被检查出来的概率？
一、精确率和召回率
1、混淆矩阵
在分类任务下，预测结果(predicted condition)与正确标记(true condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)
预测结果：是预测值
正确标记：是真实值
用来求精确率和召回率的
tp = true possitive
fn = false negative
fp = false possitive
tn = true negative
2、精确率(precision)与召回率(recall)
精确率：预测结果为正例样本中真实为正例的比例
即是，tp / (tp + fp)
召回率：真实为正例的样本中预测结果为正例的比例
即是，tp / (tp + fn)
3、真的患癌症的，能被检查出来的概率 - 召回率
二、f1-score
1、反映了模型的稳健性
等价于：2*精确率*召回率 / (精确率 + 召回率)
precision是预测的好瓜中有多少真正的好瓜，recall是所有真正的好瓜被预测对了多少
三、分类评估报告api
1、sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=none)
y_true：真实目标值
y_pred：估计器预测目标值
labels：指定类别对应的数字
我们在传y_true、y_pred传的是数字，将数字表示出来
target_names：目标类别名称
分类报告显示
return：每个类别精确率与召回率
2、在上一篇代码后添加
# 查看精确率、召回率、f1-score
from sklearn.metrics import classification_report
report = classification_report(y_test, y_predict, labels=[2, 4], target_names=["良性", "恶性"])
print(report)运行结果：
support是样本数量
四、样本不均衡的情况
1、假设这样一个情况，总共有100个人，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好，这就是样本不均衡下的评估问题
准确率：99%
召回率：99 / 99 = 100%
精确率：99 / 100 = 99%
f1-score：2*99%*100% / 199% = 99.497%
就是瞎猜，全都蒙成换了癌症，不负责任的模型
这种情况我们是要避免的，我们目前学习到的这些分类指标都不能反映出它的问题所在
样本不均衡，正样本太多，反例太少
五、roc曲线与auc指标
1、roc曲线
蓝色的线是roc曲线
2、auc指标
roc曲线和x轴、y轴包成的区域的面积
衡量好坏，我们看的是auc指标，auc越接近1越好，越接近0.5越不好
3、roc曲线是怎么来的
tpr = tp / (tp + fn) - 就是召回率
所有真实类别为1的样本中，预测类别为1的比例
fpr = fp / (fp + fn)
所有真实类别为0的样本中，预测类别为1的比例
tpr是正例的召回率，fpr是反例的召回率
roc曲线就是由tpr和fpr这两个指标构成的
当tpr=fpr：
正例的召回率、反例的召回率都为1，说明是在瞎猜，就是红色的斜线，面积是 1*1/2 = 0.5
当tpr>fpr：
tpr接近于1，fpr接近于0，就是接近于perfect classification，面积是 1*1=1
当tpr<fpr：
就是一条反曲线，做反向预测用
4、auc的意义
（1）auc的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
（2）auc的最小值为0.5，最大值为1，取值越高越好
（3）auc=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器
（4）0.5<auc<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值
（5）最终auc的范围在[0.5, 1]之间，并且越接近1越好
六、auc的计算api
1、sklearn.metrics.roc_auc_score(y_true, y_score)
计算roc曲线面积，即auc值
y_true：每个样本的真实类别，必须传0(反例)，1(正例)
y_score：可以是预测得分，可以是正例的估计概率、置信值或者分类器方法的返回值
2、代码
y_test.head()
# y_true：每个样本的真实类别，必须传0(反例)，1(正例)
# 将y_test转换成0，1
y_true = np.where(y_test > 3, 1, 0)
y_true
from sklearn.metrics import roc_auc_score
roc_auc_score(y_true, y_predict)
运行结果：
七、小结
auc只能用来评价二分类
auc非常适合评价样本不平衡中的分类器性能
发表评论