4-2 文本向量化

文本向量化是自然语言处理（NLP）中的一个关键步骤，通过将文本数据转化为数值向量，使计算机能够理解和处理自然语言。本文将深入探讨文本向量化的各种方法，包括词袋模型（Bag of Words）、TF-IDF、词嵌入（Word Embeddings）、以及近年来的前沿技术如BERT和GPT。每种方法都将附带详细的Python代码示例，帮助读者更好地理解和应用这些技术。

1. 词袋模型（Bag of Words）

词袋模型是一种最简单、最直观的文本向量化方法。它不考虑词的顺序，仅统计每个词在文档中出现的频次。

1.1 词袋模型的原理

词袋模型将文本转换为一个固定大小的词汇表，然后根据每个词在文档中出现的次数生成向量。假设有以下三个文档：

Doc1: "我喜欢自然语言处理"
Doc2: "自然语言处理很有趣"
Doc3: "我喜欢学习新知识"

我们首先构建一个词汇表：[“我”, “喜欢”, “自然”, “语言”, “处理”, “很”, “有趣”, “学习”, “新”, “知识”]。

然后，根据每个词在文档中出现的次数生成向量：

Doc1: [1, 1, 1, 1, 1, 0, 0, 0, 0, 0]
Doc2: [0, 0, 1, 1, 1, 1, 1, 0, 0, 0]
Doc3: [1, 1, 0, 0, 0, 0, 0, 1, 1, 1]

1.2 词袋模型的Python实现

from sklearn.feature_extraction.text import CountVectorizer

# 示例文档
documents = ["我", "喜欢", "自然", "语言", "处理", "很", "有趣", "学习", "新", "知识"]

# 创建词袋模型
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(documents)

# 打印词汇表
print("词汇表:\n", vectorizer.get_feature_names_out())

# 打印词袋向量
print("词袋向量:\n", X.toarray())

在这里插入图片描述

1.3 词袋模型的优缺点

优点：

简单易懂，计算效率高
适用于小规模数据集

缺点：

忽略了词的顺序和语义信息
向量维度随词汇表大小增加，容易产生稀疏矩阵

2. TF-IDF

TF-IDF（Term Frequency-Inverse Document Frequency）是一种改进的词袋模型，通过考虑词在文档中的频率和在整个语料库中的反向文档频率，衡量词的重要性。

2.1 TF-IDF的原理

在这里插入图片描述

2.2 TF-IDF的Python实现

import jieba
from sklearn.feature_extraction.text import TfidfVectorizer

# 示例文档
documents = [
    "我喜欢自然语言处理",
    "自然语言处理很有趣",
    "我喜欢学习新知识"
]

# 对文档进行分词
def jieba_tokenizer(text):
    return ' '.join(jieba.cut(text))

tokenized_documents = [jieba_tokenizer(doc) for doc in documents]

# 创建TF-IDF模型
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(tokenized_documents)

# 打印词汇表
print("词汇表:\n", vectorizer.get_feature_names_out())

# 打印TF-IDF向量
print("TF-IDF向量:\n", X.toarray())

在这里插入图片描述

2.3 TF-IDF的优缺点

优点：

考虑了词的全局重要性
能够在一定程度上降低常见词对模型的影响

缺点：

依然忽略了词的顺序和语义信息
计算复杂度较高，适用于中小规模数据集

3. 词嵌入（Word Embeddings）

词嵌入是一种更为高级的文本向量化方法，通过将词映射到一个低维向量空间，捕捉词之间的语义关系。常见的词嵌入方法包括Word2Vec、GloVe和FastText。

3.1 Word2Vec

Word2Vec是由Google提出的一种词嵌入方法，通过训练神经网络，将词映射到一个连续的向量空间，使相似的词在向量空间中距离较近。Word2Vec有两种模型：CBOW（Continuous Bag of Words）和Skip-gram。

3.1.1 Word2Vec的Python实现

from gensim.models import Word2Vec

# 示例句子
sentences = [
    ["我", "喜欢", "自然", "语言", "处理"],
    ["自然", "语言", "处理", "很", "有趣"],
    ["我", "喜欢", "学习", "新", "知识"]
]

# 训练Word2Vec模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

# 获取词向量
vector = model.wv['自然']
print("词向量:\n", vector)

# 查找相似词
similar_words = model.wv.most_similar('自然', topn=5)
print("相似词:\n", similar_words)

在这里插入图片描述

3.2 GloVe

GloVe（Global Vectors for Word Representation）是一种基于统计的词嵌入方法，通过矩阵分解，将词映射到一个低维向量空间。GloVe模型在处理大规模语料库时具有较高的效率。

3.2.1 GloVe的Python实现

import gensim.downloader as api
from gensim.models import KeyedVectors

# 下载预训练的GloVe模型（英语语料）
model = api.load("glove-wiki-gigaword-100")

# 获取词向量
vector = model['apple']
print("词向量:\n", vector)

# 查找相似词
similar_words = model.most_similar('apple', topn=5)
print("相似词:\n", similar_words)

在这里插入图片描述

3.3 FastText

FastText是Facebook提出的一种改进的词嵌入方法，不仅考虑词本身，还考虑词的子词信息（如词根、词缀等），因此在处理罕见词和形态变化丰富的语言时表现更好。

3.3.1 FastText的Python实现

from gensim.models import FastText

# 示例句子
sentences = [
    ["我", "喜欢", "自然", "语言", "处理"],
    ["自然", "语言", "处理", "很", "有趣"],
    ["我", "喜欢", "学习", "新", "知识"]
]

# 训练FastText模型
model = FastText(sentences, vector_size=100, window=5, min_count=1, workers=4)

# 获取词向量
vector = model.wv['自然']
print("词向量:\n", vector)

# 查找相似词
similar_words = model.wv.most_similar('自然', topn=5)
print("相似词:\n", similar_words)

在这里插入图片描述

3.4 词嵌入方法的优缺点

优点：

捕捉了词之间的语义关系
向量维度低，计算效率高
可用于各种下游任务，如分类、聚类、生成等

缺点：

需要大量语料进行训练
无法处理未登录词（Out-of-Vocabulary，OOV）

4. 预训练语言模型（Pre-trained Language Models）

近年来，预训练语言模型如BERT、GPT等在NLP领域取得了显著的进展。这些模型通过在大规模语料库上进行预训练，能够捕捉丰富的语言特征，并在各种下游任务中表现出色。

4.1 BERT

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的双向语言模型，通过掩码语言模型（Masked Language Model）和下一句预测（Next Sentence Prediction

）任务进行预训练。

4.1.1 BERT的Python实现

from transformers import BertTokenizer, BertModel
import torch

# 加载预训练的BERT模型和词汇表
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')

# 编码输入文本
input_text = "自然语言处理很有趣"
inputs = tokenizer(input_text, return_tensors='pt')

# 获取BERT的输出
with torch.no_grad():
    outputs = model(**inputs)

# 获取文本的嵌入向量
embeddings = outputs.last_hidden_state
print("文本嵌入向量:\n", embeddings)

在这里插入图片描述

4.2 GPT

GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的单向语言模型，通过自回归语言模型任务进行预训练，擅长生成类任务。

4.2.1 GPT的Python实现

from transformers import GPT2Tokenizer, GPT2Model
import torch
# 加载预训练的GPT模型和词汇表
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2Model.from_pretrained('gpt2')

# 编码输入文本
input_text = "自然语言处理很有趣"
inputs = tokenizer(input_text, return_tensors='pt')

# 获取GPT的输出
with torch.no_grad():
    outputs = model(**inputs)

# 获取文本的嵌入向量
embeddings = outputs.last_hidden_state
print("文本嵌入向量:\n", embeddings)