上一篇：《再用RNN神经网络架构设计生成式语言模型》
序言：本文探讨了如何通过多种方法改进模型的输出，包括扩展数据集、调整模型架构、优化训练数据的窗口设置，以及采用字符级编码。这些方法旨在提高生成文本的准确性和合理性，同时强调实验和调整对模型设计与优化的重要性。
扩展数据集
你可以很简单地将硬编码数据集的模式扩展为使用文本文件。我已经托管了一个包含大约1700行文本的文件，这些文本从许多歌曲中收集而来，供你进行实验。稍作修改，你就可以使用这个文本文件，而不是单个硬编码的歌曲。
在 Colab 中下载数据，可以使用以下代码：
!wget --no-check-certificate \
https://storage.googleapis.com/laurencemoroney-blog.appspot.com/ \
irish-lyrics-eof.txt -O /tmp/irish-lyrics-eof.txt
然后，你可以像这样将文本加载到你的语料库中：
data = open('/tmp/irish-lyrics-eof.txt').read()
corpus = data.lower().split("\n")
接下来的代码无需修改即可运行！将这个数据集训练1000个epoch后，准确率大约可以达到60%，但增长曲线趋于平缓（图8-7）。
图8-7. 在更大的数据集上进行训练
再次尝试短语“in the town of athy”时，预测结果是“one”，但这次的概率只有40%。
对于“sweet jeremy saw dublin”，预测的下一个词是“drawn”，概率为59%。预测接下来的10个词的结果为：
sweet jeremy saw dublin drawn and fondly i am dead and the parting graceful
结果看起来稍微好了一些！但我们还能进一步改进吗？
调整模型架构
改进模型的一种方法是更改其架构，使用多个堆叠的LSTM层。这非常简单，只需要确保在第一层LSTM中将return_sequences设置为True。以下是代码：
python
Copy code
model = Sequential()
model.add(Embedding(total_words, 8))
model.add(Bidirectional(LSTM(max_sequence_len-1, return_sequences='True')))
model.add(Bidirectional(LSTM(max_sequence_len-1)))
model.add(Dense(total_words, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(xs, ys, epochs=1000, verbose=1)
你可以在图8-8中看到这种更改对1000个epoch训练的影响。其结果与之前的曲线没有显著差异。
图8-8. 添加第二层LSTM后的结果
在用之前相同的短语测试时，这次我得到了“in the town of athy”之后的下一个词是“more”，概率为51%；而对于“sweet jeremy saw dublin”，预测下一个词是“cailín”（盖尔语中表示“女孩”的词），概率为61%。不过，再次预测更多单词时，输出很快陷入无意义的混乱。
以下是一些例子：
sweet jeremy saw dublin cailín loo ra fountain plundering that fulfill
you mccarthy you mccarthy down
you know nothing jon snow johnny cease and she danced that put to smother well
i must the wind flowers
dreams it love to laid ned the mossy and night i weirs
如果你得到不同的结果，不用担心，这并不是你的错。随机初始化神经元会影响最终的分数。
用不同的数据窗口
有一个小技巧可以在不添加新歌曲的情况下扩展数据集的大小，这叫做数据的滑动窗口处理。目前，每首歌中的每一行都被视为单独的一行，然后转化为输入序列，如图8-2所示。虽然人类按行阅读歌曲以感受押韵和节奏，但模型并不需要这么做，尤其是在使用双向LSTM时。
因此，与其逐行处理，比如处理“in the town of Athy, one Jeremy Lanigan”后转到下一行“Battered away till he hadn’t a pound”，我们可以将所有行视为一段连续的文本。然后，我们可以在这段文本中创建一个包含n个单词的“窗口”，处理该窗口的内容，再向前移动一个单词来获取下一个输入序列（图8-9）。
图8-9. 移动单词窗口
通过这种方式，可以通过增加输入序列的数量大幅增加训练数据。将窗口滑过整个文本语料库会生成((单词总数 - 窗口大小) × 窗口大小)个输入序列。
代码非常简单——在加载数据时，我们不再将每一行歌曲分割成“句子”，而是动态地从语料库中的单词创建句子：
window_size = 10
sentences = []
data = open('/tmp/irish-lyrics-eof.txt').read()
corpus = data.lower()
words = corpus.split(" ")
range_size = len(words) - window_size
for i in range(0, range_size):
thissentence = ""
for word in range(0, window_size-1):
word = words[i+word]
thissentence = thissentence + word + " "
sentences.append(thissentence)
在这种情况下，由于不再使用完整的句子，而是创建与滑动窗口大小相同的序列，因此max_sequence_len就是窗口的大小。整个文件会被读取，转换为小写，并通过字符串分割生成一个单词数组。代码然后遍历这些单词，从当前索引到当前索引加上窗口大小的范围内生成句子，并将这些新构造的句子添加到句子数组中。
在训练时，你会注意到，由于数据量的增加，每个epoch的训练速度会变慢，但结果会有显著改进，并且生成的文本陷入混乱的速度会明显减缓。
这是一个引起我注意的例子——特别是最后一行！
you know nothing, jon snow is gone
and the young and the rose and wide
to where my love i will play
the heart of the kerry
the wall i watched a neat little town
有很多超参数可以尝试调整。改变窗口大小会影响训练数据的数量——窗口越小，可以生成更多的数据，但用于标签的单词会变少，所以如果设置得太小，最终会得到毫无意义的诗句。你还可以调整嵌入的维度、LSTM的层数或用于训练的词汇表大小。考虑到准确率百分比并不是最好的衡量标准——你可能更需要主观地评估诗句的“合理性”——因此，没有固定规则可以判断你的模型是否“好”。
例如，当我尝试使用窗口大小为6，增加嵌入维度到16，将LSTM的数量从窗口大小（即6）增加到32，并提高Adam优化器的学习率时，我得到了一个平滑的学习曲线（图8-10），而且生成的诗句开始变得更有意义。
图8-10. 调整超参数后的学习曲线
当使用“sweet jeremy saw dublin”作为种子短语（记住，种子中的所有单词都在语料库中）时，我得到了这首诗：
sweet jeremy saw dublin
whack fol
all the watch came
and if ever you love get up from the stool
longs to go as i was passing my aged father
if you can visit new ross
gallant words i shall make
such power of her goods
and her gear
and her calico blouse
she began the one night
rain from the morning so early
oer railroad ties and crossings
i made my weary way
through swamps and elevations
my tired feet
was the good heavens
虽然短语“whack fol”对许多读者来说可能没有意义，但在一些爱尔兰歌曲中它是常见的，类似于“la la la”或“doobie-doobie-doo”。让我特别喜欢的是一些后面的短语似乎有一定的意义，比如“such power of her goods and her gear, and her calico blouse”——但这可能是因为过拟合到语料库中的现有短语。例如，从“oer railroad ties...”到“my tired feet”的部分，直接取自语料库中一首叫《The Lakes of Pontchartrain》的歌曲。如果你遇到类似的问题，最好降低学习率，或减少LSTM的数量。但最重要的是，进行实验并享受其中的乐趣！
字符级编码
在过去的几章中，我们探讨了基于单词的编码进行自然语言处理。我发现它更容易入门，但在生成文本时，你可能也想考虑使用字符级编码，因为语料库中唯一字符的数量通常远少于唯一单词的数量。因此，你的输出层所需的神经元会更少，输出预测的概率也分布得更均匀。
例如，在研究莎士比亚全集的数据集时，你会发现整个数据集中只有65个唯一字符。所以，与在爱尔兰歌曲数据集中需要处理2700个单词的下一个词的概率相比，这里只需要处理65个字符的概率。这使得你的模型更简单！字符编码的另一个好处是标点符号也被包括在内，因此可以预测换行符等。
作为例子，当我使用一个训练在莎士比亚语料上的RNN来预测接在我最喜欢的《权力的游戏》台词之后的文本时，我得到了以下内容：
YGRITTE:
You know nothing, Jon Snow.
Good night, we’ll prove those body’s servants to
The traitor be these mine:
So diswarl his body in hope in this resceins,
I cannot judg appeal’t.
MENENIUS:
Why, ’tis pompetsion.
KING RICHARD II:
I think he make her thought on mine;
She will not: suffer up thy bonds:
How doched it, I pray the gott,
We’ll no fame to this your love, and you were ends
有趣的是，她把他认定为叛徒并想绑住他（“diswarl his body”），但我完全不知道“resceins”是什么意思！如果你看过这部剧，这确实是情节的一部分，所以也许莎士比亚在无意间预见了什么！
当然，当使用像莎士比亚这样的文本作为训练数据时，我们往往会更加宽容，因为这些语言本身就有些陌生。与爱尔兰歌曲模型一样，输出很快会退化为无意义的文本，但这仍然很有趣。
总结
在最近的这三篇中，我们探讨了如何使用基于RNN神经网络的LSTM的模型进行基本的文本生成。你了解了如何将文本拆分为训练特征和标签（以单词为标签），并再次创建了一个生成式模型，当给定种子文本时，可以预测下一个可能的单词。你通过迭代改进模型以获得更好的结果，并探索了传统爱尔兰歌曲的数据集（dataset）。你还了解了一些关于如何通过基于字符的文本生成改进模型的方法，并使用莎士比亚文本进行了示例。希望这对大家理解人工智能模型（这里讲的是机器学习/Machine Learning细分领域模型）如何生成文本是一些有意义的介绍！
