均方损失L2Loss

特点：当真实值y与预测值y'相差较远时，梯度较大，参数更新较多。当预测值与真实值靠近时，梯度越来越小。

最小绝对值损失L1Loss

特点：当预测值与真实值相差较远时，梯度永远为常数，能带来稳定性的好处，但是0点处不可导，具有不平滑性。

Huber's Robust Loss

 

当预测值与真实值相差较大时，是绝对值误差。当预测值与真实值相差较小时是平方误差。