交叉熵是机器学习中常用的损失函数之一,特别适用于分类任务。其背后的核心思想是衡量两个概率分布之间的差异。在分类问题中,通常有一个真实分布(ground truth distribution)和一个模型预测的分布(predicted distribut…
自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,由于其惊人的类通用人工智能(AGI)的能力,掀起了新一轮自然语言处理领域的研究和应用的浪潮。
尤其是以ChatGLM、LLaMA等平民玩家都能跑起…