神经网络各个模块介绍（Pytorch 07）

一网络层和块

单个神经网络（1）接受一些输入；（2）生成相应的标量输出；（3）具有一组相关参数（parameters），更新这些参数 可以优化某目标函数。

当考虑具有 多个输出的网络 时，我们利用矢量化算法来描述整层神经元。像单个神经元一样，层（1） 接受一组输入，（2）生成相应的输出，（3）由 一组可调整参数 描述。当我们使用softmax回归时，一个单层本身就是模型。对于多层感知机而言，整个模型及其组成层都是这种架构。整个模型接受原始输入（特征），生成输出（预测），并包含一些参数（所有组成层的参数集合）。同样，每个单独的层接收输入（由前一层提供），生成输出（到下一层的输入），并且具有一组可调参数，这些参数根据从下一层反向传播的信号进行更新。

研究讨论 “比单个层大”但“比整个模型小”的组件 更有价值。例如，在计算机视觉中广泛流行的ResNet‐152架构就有数百层，这些层是由 层组（groups of layers）的重复模式 组成。

为了实现这些复杂的网络，我们引入了 神经网络块 的概念。块（block）可以描述单个层、由多个层组成的组件或整个模型本身。使用块进行抽象的一个好处是可以将一些块组合成更大的组件，这一过程通常是递归的，通过定义代码来按需生成任意复杂度的块，我们可以 通过简洁的代码实现复杂的神经网络 。

从编程的角度来看，块由类（class）表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函数，并且必须存储任何必需的参数。注意，有些块不需要任何参数。最后，为了计算梯度，块必须具有反向传播函数。在定义我们自己的块时，由于 自动微分 提供了一些后端实现，我们只需要 考虑前向传播函数和必需的参数 。

在构造自定义块之前，我们先回顾一下多层感知机的代码。下面的代码生成一个网络，其中 包含一个具有256个单元和ReLU激活函数的全连接隐藏层，然后是一个 具有10个隐藏单元且不带激活函数的全连接 输出层。

import torch
from torch import nn
from torch.nn import functional as F

net = nn.Sequential(nn.Linear(20, 256),
                    nn.ReLU(),
                    nn.Linear(256, 10))
x = torch.rand(2, 20)
net(x)
# tensor([[-0.0623, -0.0274, -0.2331, -0.0459,  0.0158, -0.2020,  0.1520, -0.0947,
#          -0.0174, -0.1227],
#         [-0.0661, -0.1481, -0.2220, -0.0799,  0.0868, -0.2966,  0.0611, -0.0926,
#           0.1705, -0.1844]], grad_fn=<AddmmBackward0>)

我们通过实例化nn.Sequential来构建我们的模型，层的执行顺序是作为参数传递的。简而言之，nn.Sequential定义了一种特殊的Module，即在PyTorch中表示一个块的类，它维护了一个由Module组成的有序列表。

1.1 自定义 MLP块

在实现我们自定义块之前，我们简要总结一下每个块必须提供的基本功能。

将输入数据作为其前向传播函数的参数。
通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出。
计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的。
存储和访问前向传播计算所需的参数。
根据需要初始化模型参数。

从零开始编写一个块。它包含一个多层感知机，其具有256个隐藏单元的隐藏层和一个10维输出层。注意，下面的MLP类继承了表示块的类。我们的实现 只需要提供我们自己的构造函数（Python中的__init__函数）和 前向传播函数。

class MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.hidden = nn.Linear(20, 256)
        self.out = nn.Linear(256, 10)
    
    def forward(self, x):
        return self.out(F.relu(self.hidden(x)))
    
net = MLP()
net(x)
# tensor([[ 0.1071, -0.0359,  0.1099, -0.0187, -0.1082,  0.2240,  0.1722, -0.0395,
#           0.1113, -0.1054],
#         [ 0.0774, -0.0566,  0.0681, -0.0103, -0.1178,  0.3237,  0.1305, -0.0296,
#           0.2475, -0.0299]], grad_fn=<AddmmBackward0>)

1.2 顺序块

现在我们可以更仔细地看看 Sequential类 是如何工作的，回想一下Sequential的设计是为了把其他模块串起来。为了构建我们自己的简化的MySequential，我们只需要定义 两个关键函数：

一种将块逐个追加 到列表中的函数；
一种 前向传播函数，用于 将输入按追加块的顺序传递 给块组成的“链条”。

下面的 MySequential类提供了与默认Sequential类相同的功能。

class MySequential(nn.Module):
    def __init__(self, *args):
        super().__init__()
        for idx, module in enumerate(args):
            self._modules[str(idx)] = module
    
    def forward(self, x):
        for block in self._modules.values():
            x = block(x)
        return x
    
net = MySequential(nn.Linear(20, 256),
                   nn.ReLU(),
                   nn.Linear(256, 10))
net(x)
# tensor([[-0.2334, -0.0205, -0.1584, -0.0673, -0.0580,  0.1391, -0.3126,  0.0790,
#           0.0275,  0.1145],
#         [-0.1682,  0.0906, -0.1422, -0.0216, -0.0185,  0.0337, -0.3259,  0.0087,
#          -0.0530,  0.0759]], grad_fn=<AddmmBackward0>)

__init__函数将每个模块逐个添加 到有序字典_modules中。

1.3 在前向传播函数中执行代码

Sequential类使模型构造变得简单，允许我们组合新的架构，而不必定义自己的类。我们可能希望在前向传播函数中执行Python的控制流。此外，我们可能希望执行任意的数学运算，而不是简单地依赖预定义的神经网络层。

我们 网络中的所有操作都对网络的激活值及网络的参数起作用。有时我们可能 希望合并 既不是上一层的结果也不是可更新参数的项，我们称之为 常数参数（constant parameter）。

class FixedHiddenMLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.rand_weight = torch.rand((20, 20), requires_grad=False)
        self.linear = nn.Linear(20, 20)
        
    def forward(self, x):
        x = self.linear(x)
        x = F.relu(torch.mm(x, self.rand_weight) + 1)
        x = self.linear(x)
        while x.abs().sum() > 1:
            x /= 2
        return x.sum()
    
net = FixedHiddenMLP()
net(x)
# tensor(-0.1004, grad_fn=<SumBackward0>)

在这个FixedHiddenMLP模型中，我们 实现了一个隐藏层，其权重（self.rand_weight）在实例化时被随机初始化，之后为常量。

我们可以 混合搭配各种组合块 的方法。在下面的例子中，我们以一些想到的方法嵌套块。

class NestMLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = nn.Sequential(nn.Linear(20, 64), nn.ReLU(),
                                 nn.Linear(64, 32), nn.ReLU())
        self.linear = nn.Linear(32, 16)
    
    def forward(self, x):
        return self.linear(self.net(x))
    
net = nn.Sequential(NestMLP(), nn.Linear(16, 20), FixedHiddenMLP())
net(x)

# tensor(-0.2628, grad_fn=<SumBackward0>)

小结：

一个块可以由许多层组成；一个块可以由许多块 组成。
块可以包含代码。
块负责大量的内部处理，包括参数初始化和反向传播。
层和块的顺序 连接由Sequential块 处理。

二参数管理

在 选择了架构并设置了超参数后，我们就进入了训练阶段。此时，我们的目标是找到使损失函数最小化的模型参数值。我们的目标是 找到使损失函数最小化的模型参数值。经过训练后，我们将需要 使用这些参数来做出未来的预测。

首先看一下 具有单隐藏层的多层感知机。

import torch
from torch import nn

net = nn.Sequential(nn.Linear(4, 8),
                    nn.ReLU(),
                    nn.Linear(8, 1))
x = torch.rand(size=(2, 4))
net(x)

# tensor([[-0.1399],
#         [-0.1824]], grad_fn=<AddmmBackward0>)

2.1 参数访问

我们从已有模型中 访问参数。当通过Sequential类定义模型时，我们 可以通过索引来访问模型的任意层。这就像模型是一个列表一样，每层的参数都在其属性中。如下所示，我们可以检查第二个全连接层的参数。

print(net[2].state_dict())

# OrderedDict([('weight', tensor([[-0.1551,  0.0119, -0.2359, -0.1020,  0.3216, -0.0773, 
#                                  0.1579, -0.2118]])), ('bias', tensor([-0.0633]))])

这个全连接层包含两个参数，分别是该层的权重和偏置。两者都存储为单精度浮点数（float32）。注意，参数名称允许唯一标识每个参数，即使在包含数百个层的网络中也是如此。

每个参数都表示为参数类的一个实例。要对参数执行任何操作，首先我们需要访问底层的数值。下面的代码 从第二个全连接层提取偏置，提取后返回的是一个参数类实例，并进一步访问该参数的值。

print(type(net[2].bias))
print(net[2].bias)
print(net[2].bias.data)

# <class 'torch.nn.parameter.Parameter'>
# Parameter containing:
# tensor([-0.0633], requires_grad=True)
# tensor([-0.0633])

参数是复合的对象，包含值、梯度和额外信息。这就是我们需要显式参数值的原因。除了值之外，我们还可以访问每个参数的梯度。在上面这个网络中，由于我们还没有调用反向传播，所以参数的梯度处于初始状态。

net[2].weight.grad == None
# True

一次性访问所有参数，当我们需要对所有参数执行操作时，逐个访问它们可能会很麻烦。当我们处理更复杂的块（例如，嵌套块）时，情况可能会变得特别复杂，因为我们需要递归整个树来提取每个子块的参数。下面，我们将通过演示来比较访问第一个全连接层的参数和访问所有层。

print(*[(name, param.shape) for name, param in net[0].named_parameters()])
print(*[(name, param.shape) for name, param in net.named_parameters()])

# ('weight', torch.Size([8, 4])) ('bias', torch.Size([8]))
# ('0.weight', torch.Size([8, 4])) ('0.bias', torch.Size([8])) 
# ('2.weight', torch.Size([1, 8])) ('2.bias', torch.Size([1]))

net.state_dict()['2.bias'].data
# tensor([-0.0633])

2.2 从嵌套块收集参数

如果我们 将多个块相互嵌套，参数命名约定是如何工作的。我们首先 定义一个生成块的函数，然后将这些块组合到更大的块中。

def block1():
    return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                         nn.Linear(8, 4), nn.ReLU())

def block2():
    net = nn.Sequential()
    for i in range(4):
        net.add_module(f'block {i}', block1())
    return net

rgnet = nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(x)

# tensor([[0.0523],
#         [0.0526]], grad_fn=<AddmmBackward0>)

设计了网络后，我们看看它是如何工作的：

print(rgnet)

rgnet[0][1][0].bias.data
# tensor([-0.0168, -0.2004,  0.2405,  0.4927, -0.4288,  0.2842,  0.1791, -0.4535])

2.3 参数初始化

内置初始化，让我们首先调用内置的初始化器。下面的代码 将所有权重参数初始化为标准差为0.01的高斯随机变量，且将偏置参数设置为0。

def init_normal(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, mean=0, std=0.01)
        nn.init.zeros_(m.bias)
net.apply(init_normal)
net[0].weight.data[0], net[0].bias.data[0]

# (tensor([ 0.0027,  0.0009, -0.0121,  0.0037]), tensor(0.))

常数初始化，我们还可以将所有参数初始化为给定的常数，比如初始化为1。

def init_constant(m):
    if type(m) == nn.Linear:
        nn.init.constant_(m.weight, 1)
        nn.init.zeros_(m.bias)
        
net.apply(init_constant)
net[0].weight.data[0], net[0].bias.data[0]

# (tensor([1., 1., 1., 1.]), tensor(0.))

Xavier初始化 方法初始化第一个神经网络层，然后将第三个神经网络层初始化为常量值42。

def init_xavier(m):
    if type(m) == nn.Linear:
        nn.init.xavier_uniform_(m.weight)

def init_42(m):
    if type(m) == nn.Linear:
        nn.init.constant_(m.weight, 42)
        
net[0].apply(init_xavier)
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)

# tensor([-0.2505,  0.2279, -0.2505, -0.4728])
# tensor([[42., 42., 42., 42., 42., 42., 42., 42.]])

自定义初始化，有时，深度学习框架没有提供我们需要的初始化方法。在下面的例子中，我们使用以下的分布为任意权重参数w定义初始化方法，同样，我们实现了一个my_init函数来应用到net。

def my_init(m):
    if type(m) == nn.Linear:
        print("init", *[(name, param.shape) for name, param in m.named_parameters()][0])
        nn.init.uniform_(m.weight, -10, 10)
        m.weight.data *= m.weight.data.abs() >= 5
        
net.apply(my_init)
net[0].weight[:2]

# tensor([[-7.0848,  0.0000, -6.0501,  0.0000],
#         [ 0.0000, -6.4478, -6.0328,  0.0000]], grad_fn=<SliceBackward0>)

我们始终 可以直接设置参数。

net[0].weight.data[:] += 1
net[0].weight.data[0, 0] = 42
net[0].weight.data[0]

# tensor([42.,  1.,  1.,  1.])

参数绑定，有时我们希望在 多个层间共享参数：我们可以定义一个稠密层，然后使用它的参数来设置另一个层的参数：

shared = nn.Linear(8, 8)
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                    shared, nn.ReLU(),
                    shared, nn.ReLU(),
                    nn.Linear(8, 1))
net(x)
print(net[2].weight.data[0] == net[4].weight.data[0])
net[2].weight.data[0, 0] = 100
print(net[2].weight.data[0] == net[4].weight.data[0])

# tensor([True, True, True, True, True, True, True, True])
# tensor([True, True, True, True, True, True, True, True])

2.4 参数延后初始化

到目前为止，我们忽略了建立网络时需要做的以下这些事情：

我们定义了网络架构，但 没有指定输入维度。
我们添加层时 没有指定前一层的输出维度。
我们在初始化参数时，甚至没有足够的信息来确定模型应该包含多少参数。

延后初始化（即直到数据第一次通过模型传递时，框架才会 动态地推断出每个层的大小。

当使用卷积神经网络时，由于 输入维度（即图像的分辨率）将影响每个后续层的维数，有了该技术将更加方便。现在我们 在编写代码时无须知道维度是什么就可以设置参数，这种能力可以大大简化定义和修改模型的任务。接下来，我们将更深入地 研究初始化机制。

延后初始化使框架能够自动推断参数形状，使修改模型架构变得容易，避免了一些常见的错误。我们可以通过模型传递数据，使框架最终初始化参数。

三自定义层

3.1 不带参数的层

首先，我们构造一个没有任何参数的自定义层。下面的CenteredLayer类要 从其输入中减去均值。要构建它，我们只需 继承基础层类并实现前向传播 功能。

import torch
import torch.nn.functional as F
from torch import nn

class CenteredLayer(nn.Module):
    def __init__(self):
        super().__init__()
        
    def forward(self, x):
        return x - x.mean()
    
layer = CenteredLayer()
layer(torch.FloatTensor([1, 2, 3, 4, 5]))
# tensor([-2., -1.,  0.,  1.,  2.])

现在，我们可以将层作为组件 合并到更复杂的模型 中。

net = nn.Sequential(nn.Linear(8, 128), CenteredLayer())
net

# Sequential(
#   (0): Linear(in_features=8, out_features=128, bias=True)
#   (1): CenteredLayer()
# )

我们可以在向该网络发送随机数据后，检查均值是否为0。由于我们处理的是浮点数，因为存储精度的原因，我们仍然可能会看到一个非常小的非零数。

Y = net(torch.rand(4, 8))
Y.mean()
# tensor(-1.3970e-09, grad_fn=<MeanBackward0>)

3.2 带参数的层

以上我们知道了如何定义简单的层，下面我们继续定义具有参数的层，这些参数可以 通过训练进行调整。我们可以使用内置函数来创建参数，这些函数提供一些基本的管理功能。比如 管理访问、初始化、共享、保存和加载模型参数。这样做的好处之一是：我们不需要为每个自定义层编写自定义的序列化程序。

现在，让我们实现 自定义版本的全连接层。回想一下，该层需要两个参数，一个用于表示权重，另一个用于表示偏置项。在此实现中，我们使用修正线性单元作为激活函数。该层需要输入参数：in_units和units，分别表示输入数和输出数。

class MyLinear(nn.Module):
    def __init__(self, in_uints, units):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(in_uints, units))
        self.bias = nn.Parameter(torch.randn(units,))
    def forward(self, x):
        linear = torch.matmul(x, self.weight.data) + self.bias.data
        return F.relu(linear)
    
linear = MyLinear(5, 3)
linear.weight
# Parameter containing:
# tensor([[-1.4090,  0.7069,  0.1600],
#         [ 1.9402,  0.4876,  0.4502],
#         [-0.2079, -0.1784, -0.1167],
#         [-0.3181, -1.1001, -0.0849],
#         [ 1.2840,  1.9195,  0.0115]], requires_grad=True)

我们可以 使用自定义层直接执行前向传播 计算：

linear(torch.rand(2, 5))
# tensor([[0.0000, 0.7136, 1.6907],
#         [0.0000, 0.2382, 1.9910]])

我们还可以使用 自定义层构建模型，就像使用内置的全连接层一样使用自定义层。

net = nn.Sequential(MyLinear(64, 8), MyLinear(8, 1))
net(torch.rand(2, 64))
# tensor([[ 6.8479],
#         [12.4943]])

小结：

我们可以 通过基本层类设计自定义层。这允许我们定义灵活的新层，其行为与深度学习框架中的任何现有层不同。
在自定义层定义完成后，我们就 可以在任意环境和网络架构中调用该自定义层。
层可以有局部参数，这些参数可以通过内置函数创建。

四读写文件

4.1 加载和保存张量

对于单个张量，我们可以直接 调用load和save函数分别读写 它们。这两个函数都要求我们提供一个名称，save要求将要保存的变量作为输入。

import torch
from torch import nn
from torch.nn import functional as F

x = torch.arange(4)
torch.save(x, 'x-file')

我们现在可以将存储在文件中的数据 读回内存。

x2 = torch.load('x-file')
x2
# tensor([0, 1, 2, 3])

我们可以 存储一个张量列表，然后把它们读回内存。

y = torch.zeros(4)
torch.save([x, y], 'x-files')
x2, y2 = torch.load('x-files')
x2, y2
# (tensor([0, 1, 2, 3]), tensor([0., 0., 0., 0.]))

我们甚至 可以写入或读取从字符串映射到张量的字典。当我们要读取或写入模型中的所有权重时，这很方便。

mydict = {'x': x, 'y': y}
torch.save(mydict, 'mydict')
mydict2 = torch.load('mydict')
mydict2
# {'x': tensor([0, 1, 2, 3]), 'y': tensor([0., 0., 0., 0.])}

4.2 加载和保存模型参数

保存模型参数：

class MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.hidden = nn.Linear(20, 256)
        self.output = nn.Linear(256, 10)
        
    def forward(self, x):
        return self.output(F.relu(self.hidden(x)))
    
net = MLP()
x = torch.randn(size=(2, 20))
y = net(x)

torch.save(net.state_dict(), 'mlp.params')

为了恢复模型，我们实例化了原始多层感知机模型的一个备份。这里我们不需要随机初始化模型参数，而是 直接读取文件中存储的参数。

clone = MLP()
clone.load_state_dict(torch.load('mlp.params'))
clone.eval()

# MLP(
#   (hidden): Linear(in_features=20, out_features=256, bias=True)
#   (output): Linear(in_features=256, out_features=10, bias=True)
# )

由于两个实例 具有相同的模型参数，在输入相同的X时，两个实例的计算结果应该相同。

Y_clone = clone(x)
Y_clone == y

# tensor([[True, True, True, True, True, True, True, True, True, True],
#         [True, True, True, True, True, True, True, True, True, True]])

小结：

save和load函数 可用于张量对象的文件读写。
我们可以 通过参数字典保存和加载网络的全部参数。
保存架构必须在代码中完成，而不是在参数中完成。

5 执行设备 (GPU)

可以使用 nvidia-smi 命令来查看显卡信息。

!nvidia-smi

在PyTorch中，每个数组都有一个设备（device），我们通常将其称为环境（context）。默认情况下，所有变量和相关的计算都分配给CPU。有时环境可能是GPU。当我们 跨多个服务器部署作业时，事情会变得更加棘手。通过智能地将数组分配给环境，我们可以 最大限度地减少在设备之间传输数据的时间。例如，当在带有GPU的服务器上训练神经网络时，我们通常希望模型的参数在GPU上。

5.1 计算设备

我们可以指定用于存储和计算的设备，如CPU和GPU。默认情况下，张量是在内存中创建的，然后使用CPU计算它。

在PyTorch中，CPU和GPU可以用torch.device('cpu') 和torch.device('cuda')表示。应该注意的是，cpu设备意味着所有物理CPU和内存，这意味着PyTorch的计算将尝试使用所有CPU核心。然而，gpu设备只代表一个卡和相应的显存。如果有多个GPU，我们使用torch.device(f'cuda:{i}') 来表示第i块GPU（i从0开始）。另外，cuda:0和cuda是等价 的。

import torch
from torch import nn

torch.device('cpu'), torch.device('cuda'), torch.device('cuda:1')
# (device(type='cpu'), device(type='cuda'), device(type='cuda', index=1))

查询可用gpu的数量。

torch.cuda.device_count()
# 1

现在我们定义了两个方便的函数，这两个函数 允许我们在不存在所需所有GPU的情况下运行代码。

def try_gpu(i=0):   #@save
    if torch.cuda.device_count() >= i + 1:
        return torch.device(f'cuda:{i}')
    return torch.device('cpu')

def try_all_gpus():   #@save
    devices = [torch.device(f'cuda:{i}') for i in range(torch.cuda.device_count())]
    return devices if devices else [torch.device['cpu']]

try_gpu(), try_gpu(10), try_all_gpus()
# (device(type='cuda', index=0),
#  device(type='cpu'),
#  [device(type='cuda', index=0)])

5.2 张量与GPU

我们可以查询张量所在的设备。默认情况下，张量是在CPU上创建 的。

x = torch.tensor([1, 2, 3])
x.device
# device(type='cpu')

存储在GPU上，有几种方法可以在GPU上存储张量。例如，我们可以 在创建张量时指定存储设备。接下来，我们 在第一个gpu上创建张量变量X。在GPU上创建的张量只消耗这个GPU的显存。我们可以使用nvidia-smi命令查看显存使用情况。一般来说，我们需要确保不创建超过GPU显存限制的数据。

x = torch.ones(2, 3, device=try_gpu())
x
# tensor([[1., 1., 1.],
#         [1., 1., 1.]], device='cuda:0')

假设我们至少有两个GPU，下面的代码将 在第二个GPU上创建 一个随机张量。

y = torch.rand(2, 3, device=try_gpu(1))
y.device
# device(type='cpu')

复制，如果我们要计算X + Y，我们 需要决定在哪里执行这个操作。例如，我们可以将X传输到第二个GPU并在那里执行操作。

z = x.cuda(0)
print(x)
print(z)

# tensor([[1., 1., 1.],
#         [1., 1., 1.]], device='cuda:0')
# tensor([[1., 1., 1.],
#         [1., 1., 1.]], device='cuda:0')

现在数据在同一个GPU上（Z和Y都在），我们可以将它们相加。

y.cuda(0) + z
# tensor([[1.0594, 1.1017, 1.8743],
#         [1.5926, 1.4837, 1.8689]], device='cuda:0')

人们使用GPU来进行机器学习，因为单个GPU相对运行速度快。但是在 设备（CPU、GPU和其他机器）之间传输数据比计算慢得多。

5.3 神经网络与GPU

神经网络模型可以指定设备。下面的代码将模型参数放在GPU上。

net = nn.Sequential(nn.Linear(3, 1))
net = net.to(device=try_gpu())
net

# Sequential(
#   (0): Linear(in_features=3, out_features=1, bias=True)
# )

当输入为GPU上的张量时，模型将在同一GPU上计算结果。

net(x)
# tensor([[-0.0076],
#         [-0.0076]], device='cuda:0', grad_fn=<AddmmBackward0>)

让我们确认 模型参数存储在同一个GPU上。

net[0].weight.data.device
# device(type='cuda', index=0)

小结：

我们 可以指定用于存储和计算的设备，例如CPU或GPU。默认情况下，数据在主内存中创建，然后使用CPU进行计算。
深度学习框架 要求计算的所有输入数据都在同一设备 上，无论是CPU还是GPU。
不经意地移动数据可能会显著降低性能。一个典型的错误如下：计算GPU上每个小批量的损失，并在命令行中将其报告给用户（或将其记录在NumPy ndarray中）时，将触发全局解释器锁，从而使所有GPU阻塞。最好是为GPU内部的日志分配内存，并且只移动较大的日志。