15.2. 情感分析：使用循环神经网络 — 动手学深度学习 2.0.0 documentation (d2l.ai)
代码
import torch
from torch import nn
from d2l import torch as d2l
batch_size = 64
train_iter, test_iter, vocab = d2l.load_data_imdb(batch_size)
class BiRNN(nn.Module):
def __init__(self, vocab_size, embed_size, num_hiddens,
num_layers, **kwargs):
super(BiRNN, self).__init__(**kwargs)
self.embedding = nn.Embedding(vocab_size, embed_size)
# 将bidirectional设置为True以获取双向循环神经网络
self.encoder = nn.LSTM(embed_size, num_hiddens, num_layers=num_layers,
bidirectional=True)
self.decoder = nn.Linear(4 * num_hiddens, 2)
def forward(self, inputs):
# inputs的形状是（批量大小，时间步数）
# 因为长短期记忆网络要求其输入的第一个维度是时间维，
# 所以在获得词元表示之前，输入会被转置。
# 输出形状为（时间步数，批量大小，词向量维度）
embeddings = self.embedding(inputs.T)
self.encoder.flatten_parameters()
# 返回上一个隐藏层在不同时间步的隐状态，
# outputs的形状是（时间步数，批量大小，2*隐藏单元数）
outputs, _ = self.encoder(embeddings)
# 连结初始和最终时间步的隐状态，作为全连接层的输入，
# 其形状为（批量大小，4*隐藏单元数）
encoding = torch.cat((outputs[0], outputs[-1]), dim=1)
outs = self.decoder(encoding)
return outs
embed_size, num_hiddens, num_layers = 100, 100, 2
devices = d2l.try_all_gpus()
net = BiRNN(len(vocab), embed_size, num_hiddens, num_layers)
def init_weights(m):
if type(m) == nn.Linear:
nn.init.xavier_uniform_(m.weight)
if type(m) == nn.LSTM:
for param in m._flat_weights_names:
if "weight" in param:
nn.init.xavier_uniform_(m._parameters[param])
net.apply(init_weights);
glove_embedding = d2l.TokenEmbedding('glove.6b.100d')
embeds = glove_embedding[vocab.idx_to_token]
embeds.shape
net.embedding.weight.data.copy_(embeds)
net.embedding.weight.requires_grad = False
lr, num_epochs = 0.01, 5
trainer = torch.optim.Adam(net.parameters(), lr=lr)
loss = nn.CrossEntropyLoss(reduction="none")
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs,
devices)
#@save
def predict_sentiment(net, vocab, sequence):
"""预测文本序列的情感"""
sequence = torch.tensor(vocab[sequence.split()], device=d2l.try_gpu())
label = torch.argmax(net(sequence.reshape(1, -1)), dim=1)
return 'positive' if label == 1 else 'negative'
predict_sentiment(net, vocab, 'this movie is so great')
predict_sentiment(net, vocab, 'this movie is so bad')
代码解析
这段代码实现了一个用于情感分析的双向循环神经网络（BiRNN）。下面我将逐部分用中文解析它：
1. 导入所需的库和模块：
import torch
from torch import nn
from d2l import torch as d2l
这里导入了PyTorch库、神经网络模块`nn`和基于PyTorch的深度学习库`d2l`（深度学习的一本书）。
2. 加载数据集：
batch_size = 64
train_iter, test_iter, vocab = d2l.load_data_imdb(batch_size)
加载IMDB电影评论数据集，并用迭代器`train_iter`和`test_iter`进行训练和测试。`vocab`是数据集的词汇表。
3. 定义双向循环神经网络（BiRNN）模型：
class BiRNN(nn.Module):
...
创建了一个名为`BiRNN`的类，用于定义双向LSTM模型。模型有一个嵌入层（`embedding`），将词汇映射到向量空间。LSTM层（`encoder`）设定为双向，输出经过全连接层（`decoder`）得到最终的分类结果。
4. 初始化模型参数：
def init_weights(m):
...
net.apply(init_weights);
init_weights函数用于模型参数的初始化。`net.apply(init_weights);`使用这个函数来应用参数初始化。
5. 加载预训练的词向量：
glove_embedding = d2l.TokenEmbedding('glove.6b.100d')
embeds = glove_embedding[vocab.idx_to_token]
net.embedding.weight.data.copy_(embeds)
net.embedding.weight.requires_grad = False
使用GloVe预训练的100维词向量，并将它们复制到嵌入层`net.embedding`。同时设置`requires_grad = False`使得这些词向量在训练中不被更新。
6. 训练模型：
lr, num_epochs = 0.01, 5
trainer = torch.optim.Adam(net.parameters(), lr=lr)
loss = nn.CrossEntropyLoss(reduction="none")
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)
设置学习率和迭代次数，使用Adam优化器和交叉熵损失函数。用`d2l.train_ch13`函数来训练和评估模型。
7. 定义预测函数：
def predict_sentiment(net, vocab, sequence):
...
这个函数用于预测给定文本序列的情感标签（积极或消极）。
8. 使用模型进行预测：
predict_sentiment(net, vocab, 'this movie is so great')
predict_sentiment(net, vocab, 'this movie is so bad')
调用`predict_sentiment`函数分别对两个句子进行情感预测。
整体来看，这段代码主要是利用循环神经网络对电影评论的情感进行分类，它通过加载预训练好的词向量，构建一个双向LSTM网络，并在IMDB评论数据集上进行训练和测试。最后定义了一个实用函数，用于预测输入句子的情感倾向。
