在线性回归中,损失函数(Loss Function)用于衡量模型的预测值与实际值之间的差异,是优化算法的目标。常见的线性回归损失函数包括:
-
均方误差(Mean Squared Error,MSE)
-
其中,n 是样本数量,是实际值, 是模型的预测值。MSE 是最常见的线性回归损失函数,它对预测值与实际值之间的差异进行平方,并求平均。在优化过程中,目标是最小化MSE。
-
平均绝对误差(Mean Absolute Error,MAE)
MAE是实际值与预测值之间的绝对差异的平均值。与MSE不同,MAE使用的是绝对值而不是平方,因此对异常值不敏感。
-
Huber损失
Huber损失是平均绝对误差和均方误差的一种折衷方案,对异常值的敏感性介于二者之间。它通过阈值δ来平衡对大误差的惩罚:
-
对数损失(Logarithmic Loss)
-
对数损失,也称为对数似然损失或交叉熵损失,通常用于逻辑回归等问题。在线性回归中,对数损失可以定义为:
这些损失函数在线性回归中有不同的应用场景,选择适当的损失函数取决于问题的性质和数据的特点。通常,均方误差是最常用的损失函数,但在一些情况下,其他损失函数可能更合适。