文章目录
- 构建反向索引
构建反向索引
在Begin-End区域编写 tokenize(content) 函数,实现文本标记化的功能,具体参数与要求如下:
方法参数 content 为待标记化的文本;
文本标记的实现:使用正则表达式提取全小写化后的文本中长度 >= 2 的英文单词,并将这些标记词依次记录到标记词集合中;
返回标记词的实现:返回(return)标记词集合。
编写 index_document(content) 函数,实现构建反向索引的功能,具体参数与要求如下:
方法参数 content 为待构建索引的文本;
分配文本序号的实现:对计数器content:id递增1,并将递增后的值作为该文本的序号;
记录文本全文的实现:将文本作为值,上一步的序号做为域存入到哈希键 contents 中;
获取文本标记词的实现:使用 tokenize 方法获取该文本的所有标记词;
建立索引的实现:遍历所有标记词,使用事务一次性对每个word创建一个名为keyword:{word}的集合,并将该文本的序号加入到该集合中。
代码如下:
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import re
import redis
conn = redis.Redis()
# 文本序列化
def tokenize(content):
# 请在下面完成要求的功能
#********* Begin *********#
words = re.findall(r'\b[a-z]{2,}\b', content.lower())
return set(words)
#********* End *********#
# 创建文本的反向索引
def index_document(content):
# 请在下面完成要求的功能
#********* Begin *********#
doc_id = conn.incr("content:id")
conn.hset("contents", doc_id, content)
words = tokenize(content)
for word in words:
pipe = conn.pipeline(True)
key = "keyword:" + word
pipe.sadd(key, doc_id)
pipe.execute()
#********* End *********#