一、Softmax回归关键思想
1、回归问题和分类问题的区别
Softmax回归虽然叫“回归”，但是它本质是一个分类问题。回归是估计一个连续值，而分类是预测一个离散类别。
2、Softmax回归模型
Softmax回归跟线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，Softmax回归的输出值个数等于标签里的类别数。比如一共有4种特征和3种输出动物类别(猫、狗、猪），则权重包含12个标量（带下标的），偏差包含3个标量（带下标的
），且对每个输入计算
这三个输出：
最后，再对这些输出值进行Softmax函数运算。
softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出的计算都要依赖于所有的输入
，所以softmax回归的输出层也是一个全连接层。
3、Softmax函数
Softmax用于多分类过程中，它将多个神经元的输出（比如）映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！它通过下式将输出值变换成值为正且和为1的概率分布：
其中：
，
，
容易看出 且
，因此
是一个合法的概率分布。此外，我们注意到：
因此softmax运算不改变预测类别输出。
下图可以更好的理解Softmax函数，其实就是取自然常数e的指数相加后算比例，由于自然常数的指数（）在
单调递增，因此softmax运算不改变预测类别输出。
4、交叉熵损失函数
假设我们希望根据图片动物的轮廓、颜色等特征，来预测动物的类别，有三种可预测类别：猫、狗、猪。假设我们当前有两个模型（参数不同），这两个模型都是通过sigmoid/softmax的方式得到对于每个预测结果的概率值：
模型1：
| 模型1 | |||||||
|---|---|---|---|---|---|---|---|
| 预测 | 真实 | 是否正确 | |||||
| 0.3 | 0.3 | 0.4 | 0 | 0 | 1 | 猪 | 正确 |
| 0.3 | 0.4 | 0.3 | 0 | 1 | 0 | 狗 | 正确 |
| 0.1 | 0.2 | 0.7 | 1 | 0 | 0 | 猫 | 错误 |
模型评价：模型1对于样本1和样本2以非常微弱的优势判断正确，对于样本3的判断则彻底错误。
模型2：
| 模型2 | |||||||
|---|---|---|---|---|---|---|---|
| 预测 | 真实 | 是否正确 | |||||
| 0.1 | 0.2 | 0.7 | 0 | 0 | 1 | 猪 | 正确 |
| 0.1 | 0.7 | 0.2 | 0 | 1 | 0 | 狗 | 正确 |
| 0.3 | 0.4 | 0.3 | 1 | 0 | 0 | 猫 | 错误 |
模型评价：模型2对于样本1和样本2判断非常准确，对于样本3判断错误，但是相对来说没有错得太离谱。
好了，有了模型之后，我们需要通过定义损失函数来判断模型在样本上的表现了，那么我们可以定义哪些损失函数呢？我们可以先尝试使用以下几种损失函数，然后讨论哪种效果更好。
（1）Classification Error（分类错误率）
最为直接的损失函数定义为：
模型1：
模型2：
我们知道，模型1和模型2虽然都是预测错了1个，但是相对来说模型2表现得更好，损失函数值照理来说应该更小，但是，很遗憾的是，classification error 并不能判断出来，所以这种损失函数虽然好理解，但表现不太好。
（2）Mean Squared Error（均方误差MSE）
均方误差损失也是一种比较常见的损失函数，其定义为：
模型1：
对所有样本的loss求平均：
模型2：
对所有样本的loss求平均：
我们发现，MSE能够判断出来模型2优于模型1，那为什么不采样这种损失函数呢？主要原因是在分类问题中，使用sigmoid/softmx得到概率，配合MSE损失函数时，采用梯度下降法进行学习时，会出现模型一开始训练时，学习速率非常慢的情况（损失函数 | Mean-Squared Loss - 知乎）。
有了上面的直观分析，我们可以清楚的看到，对于分类问题的损失函数来说，分类错误率和均方误差损失都不是很好的损失函数，下面我们来看一下交叉熵损失函数的表现情况。
（3）Cross Entropy Loss Function（交叉熵损失函数）
其中：
：类别的数量
：符号函数（0或1），如果样本 i 的真实类别等于 c 取 1，否则取 0
：观测样本 i 属于类别 c 的预测概率
：样本的数量
现在我们利用这个表达式计算上面例子中的损失函数值：
模型1：
对所有样本的loss求平均：
模型2：
对所有样本的loss求平均：
可以发现，交叉熵损失函数可以捕捉到模型1和模型2预测效果的差异，因此对于Softmax回归问题我们常用交叉熵损失函数。
下面两图可以很清晰的反应整个Softmax回归算法的流程：
二、图像分类数据集
MNIST数据集是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。我们将使用类似但更复杂的Fashion-MNIST数据集。
在这里我们定义一些函数用于数据的读取与显示，这些函数已经在Python包d2l中定义好了，但为了便于大家理解，这里没有直接调用d2l中的函数。
1、读取数据集
我们可以通过框架中的内置函数将Fashion-MNIST数据集下载并读取到内存中。
# 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式，
# 并除以255使得所有像素的数值均在0～1之间
trans = transforms.ToTensor()
mnist_train = torchvision.datasets.FashionMNIST(
root="../data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../data", train=False, transform=trans, download=True)Fashion-MNIST由10个类别的图像组成，每个类别由训练数据集（train dataset）中的6000张图像和测试数据集（test dataset）中的1000张图像组成。因此，训练集和测试集分别包含60000和10000张图像。测试数据集不会用于训练，只用于评估模型性能。
print(len(mnist_train), len(mnist_test))60000 10000 每个输入图像的高度和宽度均为28像素。数据集由灰度图像组成，其通道数为1。为了简洁起见，本书将高度像素、宽度
像素图像的形状记为
或
。接下来我们可以打印一下mnist_train的类型和mnist_train的第一个元素。
print(type(mnist_train))
print(type(mnist_train[0]))
print(mnist_train[0])
print(mnist_train[0][0].shape)
可以看出mnist_train的类型为<class 'torchvision.datasets.mnist.FashionMNIST'>。mnist_train的第一个元素的类型是<class 'tuple'>，是一个元组，元组第一个元素是转化为tensor后的灰度值，第二个元素是图像所属类别index，这里是9。因为是灰度图，因此channel数量为1，图片长和宽都是28，因此形状是(1,28,28)。
Fashion-MNIST中包含的10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外套）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。
以下函数用于在数字标签索引及其文本名称之间进行转换。
def get_fashion_mnist_labels(labels): # labels:mnist_train和mnist_test里面图像的类别index(数字)
"""返回Fashion-MNIST数据集的文本标签"""
text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
return [text_labels[int(i)] for i in labels] # 根据index返回文本标签列表('t-shirt', 'trouser'...)我们现在可以创建一个函数来可视化这些样本。
def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5): #@save
"""绘制图像列表"""
"""
imgs: tensor向量
num_rows: 画图时的行数
num_cols: 画图时的列数
titles: 每张图片的标题
scales: 因为要将num_rows*num_cols张图片画到一张图上,并且还要添加一些文字,
因此需要对大图进行一定的缩放才能保证每张小图之间的间隙
"""
figsize = (num_cols * scale, num_rows * scale)
# figsize = (num_cols, num_rows)
_, axes = d2l.plt.subplots(num_rows, num_cols, figsize=figsize)
axes = axes.flatten()
for i, (ax, img) in enumerate(zip(axes, imgs)):
if torch.is_tensor(img):
# 图片张量
ax.imshow(img.numpy())
else:
# PIL图片
ax.imshow(img)
ax.axes.get_xaxis().set_visible(False)
ax.axes.get_yaxis().set_visible(False)
if titles:
ax.set_title(titles[i])
return axes以下是训练数据集中前18个样本的图像及其相应的标签。
X, y = next(iter(data.DataLoader(mnist_train, batch_size=18)))
show_images(X.reshape(18, 28, 28), 2, 9, titles=get_fashion_mnist_labels(y))
2、读取小批量数据
为了使我们在读取训练集和测试集时更容易，我们使用内置的数据迭代器，而不是从零开始创建。在每次迭代中，数据加载器每次都会读取一小批量数据，大小为`batch_size`。通过内置数据迭代器，我们可以随机打乱所有样本，从而无偏见地读取小批量。
batch_size = 256
def get_dataloader_workers(): #@save
"""使用4个进程来读取数据"""
return 4
train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
num_workers=get_dataloader_workers())3、整合所有组件
现在我们定义`load_data_fashion_mnist`函数，用于获取和读取Fashion-MNIST数据集。这个函数返回训练集和验证集的数据迭代器。此外，这个函数还接受一个可选参数`resize`，用来将图像大小调整为另一种形状。
def load_data_fashion_mnist(batch_size, resize=None):
"""下载Fashion-MNIST数据集，然后将其加载到内存中"""
trans = [transforms.ToTensor()] # 此时的trans是一个列表
if resize:
trans.insert(0, transforms.Resize(resize)) # 如果提供了resize参数，则在转换链中插入Resize操作
trans = transforms.Compose(trans) # 将一系列的图像转换操作组合成一个转换链。
# trans是一个由多个图像转换操作组成的列表。它按照列表中的顺序依次应用这些转换操作。
# 这样可以将多个转换操作组合在一起，以便在加载数据时一次性应用它们。
mnist_train = torchvision.datasets.FashionMNIST(
root="../data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../data", train=False, transform=trans, download=True)
return (data.DataLoader(mnist_train, batch_size, shuffle=True,
num_workers=get_dataloader_workers()),
data.DataLoader(mnist_test, batch_size, shuffle=False,
num_workers=get_dataloader_workers()))下面，我们通过指定`resize`参数来测试`load_data_fashion_mnist`函数的图像大小调整功能。
train_iter, test_iter = load_data_fashion_mnist(32, resize=64)
for X, y in train_iter:
print(X.shape, X.dtype, y.shape, y.dtype)
breaktorch.Size([32, 1, 64, 64]) torch.float32 torch.Size([32]) torch.int64三、softmax回归的从零开始实现
...
参考文献
[1] 损失函数｜交叉熵损失函数
[2] 深度学习模型系列一——多分类模型——Softmax 回归-CSDN博客
[3] Softmax 回归_哔哩哔哩_bilibili
