损失函数-二分类和多分类

二分类和多分类的损失函数

二分类

损失函数
$L(y,\hat{y}) = -(ylog(\hat{y})) + (1-y)log(1-\hat{y})$
其中真实标签表示为y（取值为 0 或 1），预测概率表示为 $\hat{y}$ （取值在 0 到 1 之间）
代码

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # 或者使用 nn.BCEWithLogitsLoss()  BCEWithLogitsLoss可以直接接收logit输出
# 假设模型的输出 logits
logits = torch.tensor([0.2, 0.8, 0.5, 0.1]) #shape: (4, 1) 
predicted_probabilities = torch.sigmoid(logits) #shape: (4, 1) 
# 真实标签
labels = torch.tensor([0.0, 1.0, 1.0, 0.0]) #shape: (4, 1) 
# 计算损失
loss = criterion(predicted_probabilities, labels)
print("Loss:", loss.item())

可视化损失值
对于输出的loss值，我们往往不能理解这个loss是好还是坏，我们重看损失函数，发现对于单个正样本来说：
$-log(\hat{y})$
对于单个负样本来说：
$-log(1-\hat{y})$
从这个公式我们可以反推模型对正样本预测的概率为：
$hit_{pos} = e^{-loss}$
对负样本预测的概率为：
$hit_{neg} = 1-e^{-loss}$
这个hit就比较形象了， $hit_{pos}$ 越接近1，说明正样本的预测效果效果越好， $hit_{neg}$ 越接近0，说明负样本的预测效果效果越好

多分类

损失函数
$L(y,\hat{y}) = -\sum_{c=1}^Cylog(\hat{y})$
其中真实标签表示为y（取值为 0 或 1，表示是否属于第c类），预测概率表示为 $\hat{y}$ （取值在 0 到 1 之间）
代码

import torch
import torch.nn as nn

criterion = nn.CrossEntropyLoss()

# 假设模型的输出 logits（未经过 sigmoid）
logits = torch.tensor([[1.0, 2.0],  # 类别 0 和 1 的 logits
                       [0.0, 1.0],
                       [0.5, 0.5],
                       [0.0, 0.0]]) # shape：（4，2）

# 真实标签，格式为类别索引
# 0 表示第一个类别，1 表示第二个类别
labels = torch.tensor([1, 1, 0, 0])  # shape：（1，4）

# 计算损失
loss = criterion(logits, labels)

print("Loss:", loss.item())

可视化损失值
对于输出的loss值，我们往往不能理解这个loss是好还是坏，我们重看损失函数，发现对于单个样本来说：
$-log(\hat{y})$
从这个公式我们可以反推模型对当前样本的正确类别预测的概率为：
$hit = e^{-loss}$
这个hit就比较形象了，hit越接近1，说明效果越好

二分类和多分类区别

从损失函数的物理含义上来看，二分类的损失函数不仅希望正样本输出概率接近1，并且希望负样本的输出概率接近0；而多分类的损失函数仅仅希望正样本输出概率接近1，对于负样本其实没有约束
对于二分类问题：如果你希望模型不仅能找出正样本，而且筛掉副样本，就用二分类损失。如果你仅仅希望找出正样本而不管负样本，多分类的损失也能用。

多分类问题中评价问题

TP（True Positive）：真实标签为正类，模型预测为正类的样本数量。
TN（True Negative）：真实标签为负类，模型预测为负类的样本数量。
FP（False Positive）：真实标签为负类，但模型预测为正类的样本数量。
FN（False Negative）：真实标签为正类，但模型预测为负类的样本数量。