1、ROC曲线

• 在不同的应用任务中，我们可根据任务需求来采用不同的截断点。如果我们更重视“查准率”，则可选择排序中靠前的位置进行截断；如果更重视“查全率”，则可选择靠后的位置进行截断。 ROC 曲线就是从这个角度出发来研究学习器泛化性能的有力工具。
• 计算TPR和FPR：
  
• ROC 曲线的横轴是假正例率 FPR，纵轴是真正例率 TPR

事实上，机器学习模型的一个特点是：在模型性能固定的前提下，如果模型将更多的正例预测为正例，那么也必然会将更多的反例预测为正例。即 TPR越大，则 FPR 也会越大。

• ROC曲线的绘制流程：

（1）给定 m+个正例和m-个反例，通过分类器得到每个样本的预测概率，对其从高到低进行排序
（2）将分类阈值设为最大，即把所有样例均预测为反例。此时真正例率和假正例率均为0，则 ROC 曲线的起点为 (0,0)
（3）将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例。通过该阈值计算(FPR,TPR)坐标，并使用线段连接这些坐标。
（4）将分类阈值设为最小，即把所有样例均预测为正例。此时真正例率和假正例率均为1，则 ROC 曲线的终点为 (1,1)

• 若一个学习器的 ROC 曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者; 若两个学习器的 ROC 曲线发生交叉，则难以一般性地断言两者孰优孰劣此时如果一定要进行比较，则较为合理的判据是比较 ROC 曲线下的面积即 AUC (Area Under ROC Curve)

2、AUC计算及代码

• AUC的意义可以理解为：

解释1：随机采样一对样本（一个正样本，一个负样本），模型将正样本预测为正例的概率大于将负样本预测为正例的概率，即将正样本排在负样本之前的概率。
解释2：模型给一堆样本（正负类别标签已知）预测打分，然后将他们从大到小排序，正样本能够正确排在负样本前面的概率就是AUC，例如下图所示的AUC为$\frac{7}{9}$

（上图来自《互联网大厂推荐算法实战》）

• 可以把AUC理解为区分正类和负类的能力，当AUC越大，表示区分正负类的能力越强。当模型对正负样本没有区分能力时，模型会将一个样本随机预测为正类或负类，此时AUC=0.5，因此 AUC 的有效范围是(0.5,1]。
• 根据AUC的意义，可得出如下计算公式：
  
  
• 根据计算公式，有如下代码：

import numpy as np
from sklearn.metrics import roc_auc_score


# 使用 sklearn 计算 auc
def get_auc_func1(label, pred):
    return roc_auc_score(label, pred)


# 使用物理意义计算 AUC
def get_auc_func2(label, pred):
	# 查找正负样本索引
    pos_sample_ids = [i for i in range(len(label)) if label[i] == 1]
    neg_sample_ids = [i for i in range(len(label)) if label[i] == 0]
	# 计算指示函数值
    sum_indicator_value = 0
    for i in pos_sample_ids:
        for j in neg_sample_ids:
            if pred[i] > pred[j]:
                sum_indicator_value += 1
            elif pred[i] == pred[j]:
                sum_indicator_value += 0.5
    auc = sum_indicator_value / (len(pos_sample_ids) * len(neg_sample_ids))
    return auc


if __name__ == '__main__':
    label = np.array([1, 0, 0, 0, 1, 0])
    pred = np.array([0.9, 0.4, 0.3, 0.1, 0.3, 0.6])
    print(f"auc = {get_auc_func1(label, pred):6f}")  # auc = 0.687500
    print(f"auc = {get_auc_func2(label, pred):6f}")  # auc = 0.687500

• AUC的优缺点：

优点：
1）AUC 是根据所有分类阈值得到的，不依赖于分类阈值的选取。AUC体现的是对样本的排序能力，与具体的分值无关。因此 AUC 和推荐系统中的大多数业务场景更贴合，因为大多数业务场景关心 item 之间的相对顺序而不关心 item 的预测分。
2）根据 AUC 的物理意义可知，它是对正负样本随机采样计算得到的，因此 AUC 对正负样本分布不敏感

缺点：
1）AUC 是全局性指标，对于某个用户的 AUC 值不准确。
2）AUC 会忽略模型对正负样本的拟合能力：例如当模型对正样本预测概率均为0.55，对负样本预测概率均为0.45时，此时AUC=1，从 AUC 角度来看是一个完美的模型，但模型对正负样本的拟合能力差。
3）AUC通常用于二分类问题，对于多类别分类问题，需要进行适当的处理，如将其拆分成多个二分类任务