LLM大模型建立完成之后,需要对大模型的性能进行评估。评估指标可以根据具体任务的不同而有所差异,以下是一些常见的评估指标:
1. 准确率(Accuracy):模型预测正确的样本数占总样本数的比例。
2. 精确率(Precision):预测为正样本的样本中真正为正样本的比例,可以衡量模型的分类准确程度。
3. 召回率(Recall):真实的正样本中被模型预测为正样本的比例,可以衡量模型对正样本的查全率。
4. BLEU 分数:BLEU 分数是评估一种语言翻译成另一种语言的文本质量的指标. 它将“质量”的好坏定义为与人类翻译结果的一致性程度. 取值范围是[0, 1], 越接近1, 表明翻译质量越好.
BLEU 根据`n-gram`可以划分成多种评价指标,其中`n-gram`指的是连续的单词个数为n,实践中,通常是取N=1~4,然后对进行加权平均.
下面举例说计算过程(基本步骤):
1. 分别计算candidate句和reference句的N-grams模型,然后统计其匹配的个数,计算匹配度.
2. 公式:candidate和reference中匹配的 n−gram 的个数 /candidate中n−gram 的个数.
5. ROUGE 指标:ROUGE 指标是在机器翻译、自动摘要、问答生成等领域常见的评估指标. ROUGE通过将模型生成的摘要或者回答与参考答案(一般是人工生成的)进行比较计算,得到对应的得分.
6. PPL:PPL用来度量一个概率分布或概率模型预测样本的好坏程度. PPL越小,标明模型越好.