将文本作为字符串加载到内存中。

将字符串拆分为词元（如单词和字符）。

建立一个词表，将拆分的词元映射到数字索引;将文本转换为数字索引序列，方便模型操作。