机器学习、深度学习模型建模开发过程中常见的评估指标汇总学习记录

在机器学习、深度学习模型的开发过程中，很重要的一个环节就是要对模型的性能进行评估分析，不同类型的任务不同的模型对应使用不同的评估指标体系，本文的主要目的是正好趁着最近有这块的需求，就想着找点时间把汇总学习的内容整理记录下，学习备忘。

一、回归任务

在回归类任务领域中，模型开发常用到的评价指标主要包括以下几个：

均方误差（Mean Squared Error, MSE）
- 定义：均方误差是回归模型中最常用的评价指标之一，它衡量了模型预测值与真实值之间的平均差异程度。
- 计算公式：MSE=1/n∑(预测值-真实值)^2，其中n为样本数量。
- 解读：均方误差越小，表示模型的预测能力越好。由于平方的存在，MSE相较于其他指标更加关注预测值与真实值之间的较大差距。
均方根误差（Root Mean Squared Error, RMSE）
- 定义：均方根误差是均方误差的平方根，它与原始数据的单位相一致。
- 计算公式：RMSE是MSE的平方根。
- 解读：与MSE类似，RMSE越小，表示模型的预测能力越好。
平均绝对误差（Mean Absolute Error, MAE）
- 定义：平均绝对误差是预测值与真实值之间绝对误差的平均值。
- 计算公式：MAE=1/n∑|预测值-真实值|，其中n为样本数量。
- 解读：MAE度量了预测值与真实值之间的平均距离，数值越小表示模型的预测越准确。相较于MSE，MAE对误差的惩罚更加均匀，不会过分关注极端误差。
决定系数（Coefficient of Determination, R²）
- 定义：决定系数是用于衡量回归模型拟合程度的指标，它表示因变量的变异中有多少百分比可以由自变量解释。
- 计算公式：R²值通过模型解释的变异与总变异的比值来计算。
- 解读：R²的取值范围在0到1之间，越接近1表示模型的拟合程度越好，越接近0表示模型的拟合程度越差。
残差分析（Residual Analysis）
- 定义：残差分析是对回归模型拟合效果进行进一步评估的方法。
- 方法：通过观察残差的分布情况、残差与自变量之间的关系等来评估模型的拟合效果。
- 解读：如果残差呈现随机分布、均值接近于0、方差相等等特征，说明模型的拟合效果较好。
平均绝对比例误差（Mean Absolute Percentage Error, MAPE）
- 定义：MAPE是所有样本的样本误差的绝对值占实际值的比值的平均值。
- 计算公式：MAPE=1/n∑(|预测值-真实值|/真实值)×100%，其中n为样本数量。
- 解读：MAPE越接近0，模型越准确。该指标对于不同尺度的数据具有较好的可比性。

在实际的建模开发中，可以根据具体问题和数据特点选择合适的指标来评估模型的性能。

二、聚类任务

在聚类分析任务领域中，模型开发常用到的评价指标可以分为内部评估指标和外部评估指标两大类：

内部评估指标

内部评估指标主要基于聚类结果本身进行评估，不依赖于外部标签信息。

轮廓系数（Silhouette Coefficient）
- 定义：轮廓系数通过计算数据点与其所在簇内其他数据点的平均距离（内聚度）以及数据点与其他簇内所有数据点的平均距离的最小值（分离度）来评估聚类效果。
- 取值范围：[-1, 1]。值越接近1表示聚类效果越好，聚类内数据点越紧密，聚类间数据点越分散；值越接近-1表示聚类效果越差；值接近0表示聚类重叠度高。
Calinski-Harabasz Index
- 定义：该指标也称为方差比标准，通过计算数据集中所有簇的分散程度与簇内数据点的紧密程度来评估聚类效果。
- 计算公式：CH(k)=(Tr(Bk)/Tr(Wk))×((m−k)/(k−1))，其中Tr(Bk)表示类间离差矩阵的迹，Tr(Wk)表示类内离差矩阵的迹，m为样本总数，k为簇的个数。
- 值越大，表示聚类效果越好。

外部评估指标

外部评估指标依赖于外部标签信息，用于评估聚类结果与真实标签之间的匹配程度。

纯度（Purity）
- 定义：纯度表示聚类结果中每个簇中正确分类的样本数占簇中总样本数的比例的平均值。
- 计算公式：Purity=N1∑imaxj∣ci∩lj∣，其中N为样本总数，ci为第i个簇的样本集合，lj为第j个真实类别的样本集合。
- 值越高，表示聚类效果越好。
兰德系数（Rand Index, RI）
- 定义：兰德系数通过计算聚类结果中正确分类的样本对和错误分类的样本对的比例来评估聚类效果。
- 计算公式：RI=(TP+TN)/(FP+FN+TN+TP)，其中TP表示真实类别和聚类结果中均为同类的样本对数，TN表示真实类别和聚类结果中均为不同类的样本对数，FP和FN分别表示误分类的样本对数。
- 值范围在[0, 1]之间，值越大表示聚类效果越好。
调整兰德系数（Adjusted Rand Index, ARI）
- 定义：调整兰德系数是兰德系数的一个改进版本，考虑了聚类结果的随机性。
- 计算公式：ARI考虑了随机性对兰德系数的影响，因此其值范围也在[0, 1]之间，但通常比RI更低。
- 值越大表示聚类效果越好。
F值（F-score）
- 定义：F值结合了查准率（Precision）和查全率（Recall），用于评估聚类结果的准确性。
- 计算公式：F=(2×Precision×Recall)/(Precision+Recall)，其中Precision和Recall可以根据聚类结果和真实标签计算得出。
- 值越高表示聚类效果越好。

可以根据具体任务和数据特点选择合适的指标进行评估。需要注意的是，不同的评价指标可能具有不同的侧重点和优缺点，因此在实际应用中需要综合考虑多个指标来评估聚类效果。

三、分类任务

在分类任务中，各指标的计算基础都来自于对正负样本的分类结果，用混淆矩阵表示，实例如下所示：

分类任务领域中模型开发常用到的评价指标主要包括以下几种：

准确率（Accuracy）
- 定义：准确率是最常用的分类任务评价指标之一，表示模型分类正确的样本数与总样本数之比。
- 计算公式：Accuracy = (TP + TN) / (TP + FN + FP + TN)，其中TP表示真正例（True Positive），TN表示真反例（True Negative），FP表示假正例（False Positive），FN表示假反例（False Negative）。
- 解读：准确率越高，模型分类能力越强。但在数据集不均衡时，准确率可能不是一个合适的指标，因为模型可能倾向于预测数量较多的类别。
精确率（Precision）
- 定义：精确率是指模型预测为正例的样本中真正为正例的比例，主要关注预测为正例的结果的准确性。
- 计算公式：Precision = TP / (TP + FP)
- 解读：精确率越高，表示模型预测为正例的样本中真正为正例的比例越高，即误报率相对较低。
召回率（Recall）
- 定义：召回率是指分类正确的正例样本数与实际正例样本数之比，用于衡量模型对于正例样本的识别能力。
- 计算公式：Recall = TP / (TP + FN)
- 解读：召回率越高，表示模型能够较好地找到正例样本，即漏报率相对较低。
F1值（F1-Score）
- 定义：F1值是精确率和召回率的加权调和平均值，综合了精确率和召回率的性能。
- 计算公式：F1-Score = 2 * (Precision * Recall) / (Precision + Recall)
- 解读：F1值越高，表示模型在精确率和召回率方面的表现越好。
ROC曲线和AUC值
- 定义：ROC曲线是以分类器真阳性率（TPR）为纵坐标，假阳性率（FPR）为横坐标绘制的曲线，用于评估模型在不同阈值下的综合表现。AUC值是ROC曲线下的面积，用来衡量模型分类性能的综合指标。
- 解读：AUC值越高，表示模型的性能越好。AUC值越接近1，说明模型越可能将正例排在反例前面，即模型性能越好。
混淆矩阵（Confusion Matrix）
- 定义：混淆矩阵是用于描述模型分类结果的矩阵，展示了模型预测结果的分类情况。
- 解读：通过分析混淆矩阵，可以计算出准确率、精确率和召回率等指标，提供了更详细的分类结果信息。
类别相关指标
- 在多类别分类任务中，还可以使用每个类别的精确率、召回率和F1值来评估模型针对每个类别的性能。

不同的指标反映了模型在不同方面的性能，除了上述常规的指标之外还有两种生物学上的指标可以使用。

敏感性¶

敏感性或者灵敏度（Sensitivity，也称为真阳性率）是指实际为阳性的样本中，判断为阳性的比例（例如真正有生病的人中，被医院判断为有生病者的比例），计算方式是真阳性除以真阳性+假阴性（实际为阳性，但判断为阴性）的比值（能将实际患病的病例正确地判断为患病的能力，即患者被判为阳性的概率）。公式如下：

即有病（阳性）人群中，检测出阳性的几率。（检测出确实有病的能力）

特异性¶

特异性或特异度（Specificity，也称为真阴性率）是指实际为阴性的样本中，判断为阴性的比例（例如真正未生病的人中，被医院判断为未生病者的比例），计算方式是真阴性除以真阴性+假阳性（实际为阴性，但判断为阳性）的比值（能正确判断实际未患病的病例的能力，即试验结果为阴性的比例）。公式如下：

即无病（阴性）人群中，检测出阴性的几率。（检测出确实没病的能力）。

四、目标检测任务

目标检测任务等价于同时分类+回归，除去上述介绍过的指标以外还多了一种专用于评价检测模型效果的指标，就是mAP。mAP是用来衡量目标检测算法精度的一个常用指标。目前各个经典算法都是使用mAP在开源数据集上进行精度对比。在计算mAP之前，还需要使用到两个基础概念：准确率（Precision）和召回率（Recall）。

准确率：预测为正的样本中有多少是真正的正样本。
召回率：样本中的正例有多少被预测正确。

【mAP0.5】
mAP0.5，也被称为mAP@0.5或AP50，指的是当Intersection over Union（IoU）阈值为0.5时的平均精度（mean Average Precision）。IoU是一个用于衡量预测边界框与真实边界框之间重叠程度的指标，其值范围在0到1之间。当IoU值为0.5时，意味着预测框与真实框至少有50%的重叠部分。
在计算mAP0.5时，首先会为每个类别计算所有图片的AP（Average Precision），然后将所有类别的AP值求平均，得到mAP0.5。AP是Precision-Recall Curve曲线下面的面积，这个面积越大，说明AP的值越大，类别的检测精度就越高。
mAP0.5主要关注模型在IoU阈值为0.5时的性能，当mAP0.5的值很高时，说明算法能够准确检测到物体的位置，并且将其与真实标注框的IoU值超过了阈值0.5。
【mAP0.5:0.95】
mAP0.5:0.95，也被称为mAP@[0.5:0.95]或AP@[0.5:0.95]，表示在IoU阈值从0.5到0.95变化时，取各个阈值对应的mAP的平均值。具体来说，它会在IoU阈值从0.5开始，以0.05为步长，逐步增加到0.95，并在每个阈值下计算mAP，然后将这些mAP值求平均。
这个指标考虑了多个IoU阈值下的平均精度，从而更全面、更准确地评估模型性能。当mAP0.5:0.95的值很高时，说明算法在不同阈值下的检测结果均非常准确，覆盖面广，可以适应不同的场景和应用需求。
对于一些需求比较高的场合，比如安全监控等领域，需要保证高的准确率和召回率，这时mAP0.5:0.95可能更适合作为模型的评价标准。
综上所述，mAP0.5和mAP0.5:0.95都是用于评估目标检测模型性能的重要指标，但它们的关注点有所不同。mAP0.5主要关注模型在IoU阈值为0.5时的性能，而mAP0.5:0.95则考虑了多个IoU阈值下的平均精度，从而更全面、更准确地评估模型性能。

五、生成对抗神经网络GAN任务

GAN模型通过两个相互对抗的神经网络——生成网络（Generator）和判别网络（Discriminator）来工作，以实现生成逼真的图像、音频或文本等数据。GAN的工作原理可以理解为一种“猫捉老鼠”的游戏。生成网络试图制造出逼真的假数据（如假币），而判别网络则试图检测出这些数据（如识别假币）。随着训练的进行，生成网络不断提高其生成数据的逼真度，而判别网络则不断提高其判别能力。这个过程不断迭代，直到两者达到一个均衡状态，即判别网络无法准确区分生成数据和真实数据。GAN模型中常用于评价模型效果的指标有多种，这些指标主要关注生成图像的质量和多样性：

Inception Score (IS)
- 定义：Inception Score是评价GAN生成图像质量的一个重要指标。它基于预训练的Inception模型（如Inception Net-V3）来计算生成图像的清晰度和多样性。
- 计算方法：将生成的图片送入Inception模型，得到一个1000维的标签向量，该向量的每一维表示输入样本属于某类别的概率。如果模型生成的图片质量高，那么Inception模型可以将其以很高的概率分类成某个类，即标签向量p(y|x)的数值比较集中。
- 优点：综合考虑了生成图像的清晰度和多样性。
- 局限性：对于某些模式（如背景噪声）可能会给出较高的分数，而这些模式对于人类观察者来说可能是不重要的。
Fréchet Inception Distance (FID)
- 定义：FID从统计方面衡量两组图像的相似度，通过计算真实图像和生成图像的特征向量之间距离的一种度量。
- 计算方法：需要计算特征的均值mu、特征向量的协方差矩阵sigma。FID越小，表示两组图像越相似。
- 优点：对噪声和模式崩溃更加敏感，与人类对图像质量的判断更为一致。
- 局限性：对于某些特定的数据集或任务，FID可能不是最佳的度量指标。
Mode Score
- 定义：Mode Score用于评估GAN生成样本的多样性和质量。它计算生成样本中不同模式的数量以及每个模式的生成频率。
- 计算方法：通过聚类算法将生成样本划分为不同的模式，并计算每个模式的生成频率和数量。
- 优点：能够直接反映GAN在生成样本多样性和质量方面的性能。
- 局限性：聚类算法的选择和参数设置可能会影响Mode Score的计算结果。
Kernel MMD (Maximum Mean Discrepancy)
- 定义：Kernel MMD是一种基于核方法的度量，用于计算两个分布之间的差异。在GAN中，它可以用于评估生成样本和真实样本之间的分布差异。
- 计算方法：通过核函数将样本映射到高维空间，并计算两个分布在高维空间中的均值差异。
- 优点：对分布的差异敏感，能够反映生成样本和真实样本之间的相似性。
- 局限性：核函数的选择和参数设置可能会影响MMD的计算结果。
结构相似性指数(SSIM)
- 定义：SSIM用于衡量两张图像的相似度，考虑了亮度、对比度和结构信息。
- 计算方法：通过计算两张图像的亮度、对比度和结构信息的相似度来得到SSIM值。SSIM值越接近1，表示两张图像越相似。
- 优点：与人类对图像质量的感知较为一致，能够反映图像的局部结构信息。
- 局限性：对于某些细节或纹理丰富的图像，SSIM可能无法准确反映其质量差异。
峰值信噪比(PSNR)
- 定义：PSNR是一种用于衡量图像质量的指标，通过计算图像中信号与噪声的比值来评估图像质量。
- 计算方法：首先计算图像的均方误差(MSE)，然后通过MSE计算PSNR值。PSNR值越高，表示图像质量越好。
- 优点：简单易计算，广泛用于图像处理领域。
- 局限性：对于某些类型的图像失真（如结构失真）可能不够敏感。

在实际应用中，可以根据具体任务和数据集的特点选择合适的评价指标来评估GAN模型的性能。同时，也可以结合多个指标来综合评价GAN模型的生成效果和多样性。

6、机器翻译任务

在机器翻译任务中，常用的评价指标包括准确率、精度、召回率，以及更为具体的BLEU、ROUGE、METEOR和CIDEr等：

准确率（Accuracy）
- 定义：准确率是指机器翻译系统翻译出的结果与人工翻译结果完全一致的比例。这是最基本的评价指标，直接反映了翻译系统的性能。
- 重要性：准确率越高，说明翻译系统性能越好，但需注意在评估时，完全一致的翻译可能较为少见，因此需结合其他指标综合评估。
精度（Precision）
- 定义：精度是指机器翻译系统翻译出的结果中，与人工翻译结果完全一致的部分所占的比例。这个指标在评估系统的过滤和筛选功能时非常有用。
- 计算公式：Precision = TP / (TP + FP)，其中TP表示真正例（True Positive），FP表示假正例（False Positive）。
召回率（Recall）
- 定义：召回率是指人工翻译结果中，被机器翻译系统正确识别并翻译出来的部分所占的比例。这个指标在评估系统的全面性和覆盖范围时很有用。
- 计算公式：Recall = TP / (TP + FN)，其中FN表示假反例（False Negative）。
BLEU（Bilingual Evaluation Understudy）
- 定义：BLEU是一种广泛使用的评估指标，它通过比较机器翻译结果和参考翻译之间的n-gram匹配率来评估翻译质量。BLEU分数越高，表示机器翻译结果与参考翻译越接近。
- 优点：BLEU考虑了翻译的准确率，并且对于短句和长句都有相应的处理机制。
- 缺点：BLEU只关注准确率，没有考虑召回率，并且有时倾向于偏好短句。
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）
- 定义：ROUGE是基于召回率的评价指标，与BLEU类似但只考虑了召回率。它通常用于自动文摘和机器翻译的评估，可以更好地反映机器翻译结果的完整性和准确性。
- 计算公式：ROUGE_L是基于最长公共子序列的F值，综合考虑了精确率和召回率。
METEOR（Metric for Evaluation of Translation with Explicit Ordering）
- 定义：METEOR考虑了同义词和词性，通过计算参考译文和候选译文之间的精确率、召回率和F值来评估翻译质量。
- 优点：METEOR不仅考虑了准确率，还考虑了召回率，并且对于同义词和词性的处理更为灵活。
- 计算：METEOR在计算时使用了wordnet扩充了同义词集，并使用了chunk的概念来评估流畅性。
CIDEr（Consensus-based Image Description Evaluation）
- 定义：虽然CIDEr最初是为图像描述生成的评估而设计的，但在某些情况下也可以用于机器翻译。它通过计算n-gram在参考译文中出现的频率，并使用TF-IDF来计算每个n-gram的权重，从而评估翻译质量。
- 优点：CIDEr考虑了n-gram在参考译文中的频率和重要性，可以更全面地评估翻译质量。