BM25检索算法 python

1.简介

BM25（Best Matching 25）是一种经典的信息检索算法，是基于 TF-IDF算法的改进版本，旨在解决、TF-IDF算法的一些不足之处。其被广泛应用于信息检索领域的排名函数，用于估计文档D与用户查询Q之间的相关性。它是一种基于概率检索框架的改进，特别是在处理长文档和短查询时表现出色。BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。目前被广泛运用的搜索引擎ES就内置了BM25算法进行全文检索。

BM25算法的基本公式

在这里插入图片描述

  • Score(D,Q) 是文档 D 与查询 Q 的相关性得分。
  • qi 是查询中的第 i 个词。
  • f(qi, D)是词 qi 在文档 D 中的频率。
  • IDF(qi) 是词qi 的逆文档频率。
  • |D| 是文档 D的长度。
  • avgdl是所有文档的平均长度。
  • k1 和 b 是可调的参数，通常 k1 在1.2到2之间， b通常设为0.75。

IDF计算方法

在这里插入图片描述

  • N 是文档集合中的文档总数
  • n(q1)是包含词q1的文档数量
  • 词频 (f(qi, D)): 这是查询中的词 q_i在文档 D 中出现的频率。词频是衡量一个词在文档中重要性的基本指标。词频越高，这个词在文档中的重要性通常越大。
  • 逆文档频率 (IDF(qi)): 逆文档频率是衡量一个词对于整个文档集合的独特性或信息量的指标。它是由整个文档集合中包含该词的文档数量决定的。一个词在很多文档中出现，其IDF值就会低，反之则高。这意味着罕见的词通常有更高的IDF值，从而在相关性评分中拥有更大的权重。
  • 文档长度 (|D|): 这是文档D 中的词汇数量。文档长度用于调整词频的影响，因为较长的文档可能仅因为它们的长度就有更高的词频。
  • 平均文档长度 (avgdl): 这是整个文档集合中所有文档长度的平均值。它用于标准化不同文档的长度，以便可以公平比较不同长度的文档。
  • 可调参数 (k1 和 b):
    • k1 是一个正系数，用于控制词频的饱和度。较高的 k1 值意味着词频对评分的影响更大。
    • b 是用于控制文档长度对评分的影响的参数，取值在0到1之间。当 b=1 时，文档长度的影响最大；当b = 0 时，文档长度不影响评分。

2. 主要流程

1 数据预处理
  • 首先需要将文档进行数据预处理，包括分词、去除停用词、词干提取和标准化等步骤。
2 计算文档和查询条件中各个项的得分函数
  • 该步骤计算每个文档和查询条件中各个项的得分函数，并将其存储在倒排索引中。
3 计算文档与查询条件之间的匹配程度
  • 计算文档与查询条件之间的匹配程度得分。该步骤会计算所有匹配的文档的得分值，并按照得分值的大小对文档进行排序。
4 返回最匹配的文档
  • 返回最匹配的文档。

3. python 简单实现

import math
from collections import Counter

class BM25:
    def __init__(self, docs, k1=1.5, b=0.75):
        """
        BM25算法的构造器
        :param docs: 分词后的文档列表，每个文档是一个包含词汇的列表
        :param k1: BM25算法中的调节参数k1
        :param b: BM25算法中的调节参数b
        """
        self.docs = docs
        self.k1 = k1
        self.b = b
        self.doc_len = [len(doc) for doc in docs]  # 计算每个文档的长度
        self.avgdl = sum(self.doc_len) / len(docs)  # 计算所有文档的平均长度
        self.doc_freqs = []  # 存储每个文档的词频
        self.idf = {}  # 存储每个词的逆文档频率
        self.initialize()

    def initialize(self):
        """
        初始化方法，计算所有词的逆文档频率
        """
        df = {}  # 用于存储每个词在多少不同文档中出现
        for doc in self.docs:
            # 为每个文档创建一个词频统计
            self.doc_freqs.append(Counter(doc))
            # 更新df值
            for word in set(doc):
                df[word] = df.get(word, 0) + 1
        # 计算每个词的IDF值
        for word, freq in df.items():
            self.idf[word] = math.log((len(self.docs) - freq + 0.5) / (freq + 0.5) + 1)

    def score(self, doc, query):
        """
        计算文档与查询的BM25得分
        :param doc: 文档的索引
        :param query: 查询词列表
        :return: 该文档与查询的相关性得分
        """
        score = 0.0
        for word in query:
            if word in self.doc_freqs[doc]:
                freq = self.doc_freqs[doc][word]  # 词在文档中的频率
                # 应用BM25计算公式
                score += (self.idf[word] * freq * (self.k1 + 1)) / (freq + self.k1 * (1 - self.b + self.b * self.doc_len[doc] / self.avgdl))
        return score

# 示例文档集和查询
docs = [["the", "quick", "brown", "fox"],
        ["the", "lazy", "dog"],
        ["the", "quick", "dog"],
        ["the", "quick", "brown", "brown", "fox"]]
query = ["quick", "brown"]

# 初始化BM25模型并计算得分
bm25 = BM25(docs)
scores = [bm25.score(i, query) for i in range(len(docs))]

## query和文档的相关性得分：
## sores = [1.0192447810666774, 0.0, 0.3919504878447609, 1.2045355839511414]

在这个例子中，我们使用了四个文档和一个查询来计算相关性得分。查询是 [“quick”, “brown”]。得分如下：

  • 文档 1 (“the quick brown fox”): 得分约为 1.02
  • 文档 2 (“the lazy dog”): 得分为 0.0（因为它不包含查询中的任何单词）
  • 文档 3 (“the quick dog”): 得分约为 0.39
  • 文档 4 (“the quick brown brown fox”): 得分约为 1.20

这些得分反映了每个文档与查询之间的相关性。得分越高，表示文档与查询的相关性越强。在这个例子中，文档 4 与查询的相关性最高，其次是文档 1，文档 3 的相关性较低，而文档 2 与查询没有相关性。

4. 调用gensim实现

一般流程（对于中文）
  1. 构建corpus
    1.1 构建停用词词表（可加入部分高频词）
    1.2 分词
    1.3 去除停用词

2 训练BM25模型
3. 使用模型计算相似性

from gensim.summarization import bm25


def test_gensim_bm25():
    corpus = [
    ['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多'], 
    ['第1', '个', '是', '应该', '第2', '个', '是'], 
    ['不', '对', '应该', '就是', '差', '不', '多'], 
    ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']]
    
    bm25Model = bm25.BM25(corpus)

    test_strs = [
        ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁'],
        ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁', '问题', '第1', '个'],
        ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁', '问题', '第1', '个','来', '问', '几', '个', '问题'],
        ['应该', '差', '不', '多', '一定', '要', '退', '60', '岁'],
        ['差', '不', '多', '一定', '要', '退'],
        ['一定', '要', '差', '不', '多', '退'],
        ['一定', '要', '退'],
        ['一定', '差', '不', '多'],
    ]
    for test_str in test_strs:
        scores = bm25Model.get_scores(test_str)
        print('测试句子：', test_str)
        for i, j in zip(scores, corpus):
            print('分值：{},原句：{}'.format(i, j))
        print('\n')

if __name__ == '__main__':
    test_gensim_bm25()

运行结果：

测试句子： ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']
分值：0.2828807225045471,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0.226504790662966,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.42164043562468434,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：2.2007072441488233,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['应该', '差', '不', '多', '一定', '要', '退', '60', '岁']
分值：0.202827468444139,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0.09756782248085916,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.42164043562468434,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.2213019690359779,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['差', '不', '多', '一定', '要', '退']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.1406697377282669,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['一定', '要', '差', '不', '多', '退']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.1406697377282669,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['一定', '要', '退']
分值：0.0,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：0.898773043805134,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['一定', '差', '不', '多']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：0.24189669392313295,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']

5. rank-bm25 （一个双线搜索引擎，用于查询一组文档并返回与查询最相关的文档）

安装

pip install rank_bm25
初始化

首先要做的是创建BM25类的一个实例，该实例读取文本语料库并对其进行一些索引：

from rank_bm25 import BM25Okapi

corpus = [
    "Hello there good man!",
    "It is quite windy in London",
    "How is the weather today?"
]

tokenized_corpus = [doc.split(" ") for doc in corpus]

bm25 = BM25Okapi(tokenized_corpus)
# <rank_bm25.BM25Okapi at 0x1047881d0>

此包不进行任何文本预处理。如果你想做一些事情，比如降低词尾、删除词尾、词干等，你需要自己做。唯一的要求是类接收字符串列表，这些字符串是文档标记。

文档排名

我们已经创建了文档索引，我们可以向它提供查询，并查看哪些文档最相关：

query = "windy London"
tokenized_query = query.split(" ")

doc_scores = bm25.get_scores(tokenized_query)
# array([0.        , 0.93729472, 0.        ])

除了获取文档分数，你也可以用来检索最佳文档：

bm25.get_top_n(tokenized_query, corpus, n=1)
# ['It is quite windy in London']

参考

心法利器[13] | 任务方案思考：句子相似度和匹配
ChatGLM 金融大模型决赛方案总结
rank-bm25 0.2.2
python根据BM25实现文本检索
相关性算法BM25的python实现
python借助elasticsearch实现精准查询与bm25查询
python实现内容检索子系统（BM25算法）
BM25，超全解释
史上最小白之BM25详解与实现
RAG提效利器——BM25检索算法原理和Python实现

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/568669.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【结构型模型】享元模式

【结构型模型】享元模式

一、享元模式概述 享元模式定义&#xff1a;又叫蝇量模式&#xff0c;运用共享技术有效地支持大量细粒度对象的复用。系统只使用少量的对象&#xff0c;而这些对象都很相似&#xff0c;状态变化很小&#xff0c;可以实现对象的多次复用。由于享元模式要求能够共享的对象必须是细…
阅读更多...
JVM--Java对象到底存在哪?

JVM--Java对象到底存在哪?

Java对象存放在堆中&#xff0c;但堆又分为新生代和老年代&#xff0c;新生代又细分为 Eden、From Survivor、To Survivor。那我们创建的对象到底在哪里&#xff1f; 堆分为新生代和老年代&#xff0c;新生代用于存放使用后就要被回收的对象&#xff08;朝生夕死&#xff09;&a…
阅读更多...
vue项目使用百度地图

vue项目使用百度地图

打开百度地图开放平台 百度地图开放平台 | 百度地图API SDK | 地图开发 在控制台新建应用 复制访问应用的ak 可修改地图样式 使用部分 <!-- 引入地图 --><div class"main-aside"><div id"b-map-container"></div></div> …
阅读更多...
【数据结构】三、栈和队列：2.顺序栈共享栈（顺序栈的初始化，判空，进栈，出栈，读取栈顶，顺序栈实例）

【数据结构】三、栈和队列：2.顺序栈共享栈（顺序栈的初始化，判空，进栈，出栈，读取栈顶，顺序栈实例）

文章目录 1.顺序栈1.1初始化1.2判空1.3进栈1.4出栈1.5读取栈顶1.6销毁栈❗1.7顺序栈c实例 2.共享栈2.1初始化2.2判满 1.顺序栈 用顺序存储实现的栈 顺序栈的缺点&#xff1a;栈的大小不可变。 #define MaxSize 10 //定义栈中元素的最大个数 typedef struct{ElemType data[…
阅读更多...
图像哈希：全局＋局部提取特征

图像哈希：全局＋局部提取特征

文章信息 作者&#xff1a;梁小平&#xff0c;唐振军期刊&#xff1a;ACM Trans. Multimedia Comput. Commun. Appl&#xff08;三区&#xff09;题目&#xff1a;Robust Hashing via Global and Local Invariant Features for Image Copy Detection 目的、实验步骤及结论 目…
阅读更多...
CPPTest实例分析（C++ Test）

CPPTest实例分析（C++ Test）

1 概述 CppTest是一个可移植、功能强大但简单的单元测试框架&#xff0c;用于处理C中的自动化测试。重点在于可用性和可扩展性。支持多种输出格式&#xff0c;并且可以轻松添加新的输出格式。 CppTest下载地址&#xff1a;下载地址1  下载地址2 下面结合实例分析下CppTest如…
阅读更多...
进程概念（进程第1篇）【Linux复习篇】

进程概念（进程第1篇）【Linux复习篇】

目录 1、冯诺依曼体系结构怎么画&#xff1f;中央处理器是什么&#xff1f;存储器是什么&#xff1f;每个部分有什么作用&#xff1f; 2、什么是操作系统&#xff1f; 3、什么叫进程&#xff1f;操作系统如何管理进程的&#xff1f; 4、怎么查看进程&#xff1f; 5、C语言…
阅读更多...
springcloud Ribbon的详解

springcloud Ribbon的详解

1、Ribbon是什么 Ribbon是Netflix发布的开源项目&#xff0c;Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的框架。 2、Ribbon能干什么 LB负载均衡(Load Balance)是什么&#xff1f;简单的说就是将用户的请求平摊的分配到多个服务上&#xff0c;从而达…
阅读更多...
AI视频改字个性化祝福豪车装X系统uniapp前端开源源码下载

AI视频改字个性化祝福豪车装X系统uniapp前端开源源码下载

装X系统源码简介 创意无限&#xff01;AI视频改字祝福&#xff0c;豪车装X系统源码开源&#xff0c;打造个性化祝福视频不再难&#xff01; 想要为你的朋友或家人送上一份特别的祝福&#xff0c;让他们感受到你的真诚与关怀吗&#xff1f;现在&#xff0c; 通过开源的AI视频…
阅读更多...
从0到1—POC编写基础篇（二）

从0到1—POC编写基础篇（二）

接着上一篇 POC常用基础模块 urllib 模块 Python urllib 库用于操作网页 URL&#xff0c;并对网页的内容进行抓取处理。 urllib 包 包含以下几个模块&#xff1a; ●urllib.request - 打开和读取 URL。 ●urllib.error - 包含 urllib.request 抛出的异常。 ●urllib.parse - …
阅读更多...
新技术前沿-2024-大型语言模型LLM的本地化部署

新技术前沿-2024-大型语言模型LLM的本地化部署

参考快速入门LLM 参考究竟什么是神经网络 1 深度学习 1.1 神经网络和深度学习 神经网络是一种模拟人脑神经元工作方式的机器学习算法，也是深度学习算法的基本构成块。神经网络由多个相互连接的节点（也称为神经元或人工神经元）组成，这些节点被组织成层次结构。通过训练，…
阅读更多...
【网络安全】在网络中如何对报文和发送实体进行鉴别？

【网络安全】在网络中如何对报文和发送实体进行鉴别？

目录 1、报文鉴别 &#xff08;1&#xff09;使用数字签名进行鉴别 &#xff08;2&#xff09;密码散列函数 &#xff08;3&#xff09;报文鉴别码 2、实体鉴别 鉴别(authentication) 是网络安全中一个很重要的问题。 一是要鉴别发信者&#xff0c;即验证通信的对方的确是…
阅读更多...
小扎宣布开放 Meta Horizo​​n OS

小扎宣布开放 Meta Horizo​​n OS

日前&#xff0c;Meta以“混合现实的新时代”为题的博文宣布向第三方制造商开放Meta Horizon OS&#xff0c;包括华硕、联想和微软Xbox等等&#xff1a; Meta正在朝着为元宇宙建立一个更开放的计算平台的愿景迈出下一步。Meta正在向第三方硬件制造商开放赋能Meta Quest设备的操…
阅读更多...
使用 IPAM 解决方案简化分布式网络管理

使用 IPAM 解决方案简化分布式网络管理

随着组织在数字领域的全球扩张&#xff0c;分布式网络是不可避免的&#xff0c;这意味着&#xff0c;随着 IT 基础设施的发展&#xff0c;组织需要适应&#xff0c;这包括在不断增长的系统需求、应用程序堆栈、各种协议和安全防御中监控、现代化和简化流程和资源。在有效管理现…
阅读更多...
AJAX——案例

AJAX——案例

1.商品分类 需求&#xff1a;尽可能同时展示所有商品分类到页面上 步骤&#xff1a; 获取所有的一级分类数据遍历id&#xff0c;创建获取二级分类请求合并所有二级分类Promise对象等待同时成功后&#xff0c;渲染页面 index.html代码 <!DOCTYPE html> <html lang&qu…
阅读更多...
Pycharm代码规范与代码格式化插件安装

Pycharm代码规范与代码格式化插件安装

给大家分享两个PyCharm编辑器的插件&#xff0c;分别是pylint与autopep8&#xff0c;主要用来提高我们在使用python进行自动化测试编写以及性能测试脚本编写过程中的代码质量、可读性与美观性。 pylint&#xff1a; ● 代码检查工具&#xff1a;它可以帮助检查代码中的错误、…
阅读更多...
pnpm 安装后 node_modules 是什么结构？为什么 webpack 不识别 pnpm 安装的包？

pnpm 安装后 node_modules 是什么结构？为什么 webpack 不识别 pnpm 安装的包？

本篇研究&#xff1a;使用 pnpm 安装依赖时&#xff0c;node_modules 下是什么结构 回顾 npm3 之前&#xff1a;依赖树 缺点&#xff1a; frequently packages were creating too deep dependency trees, which caused long directory paths issue on Windowspackages were c…
阅读更多...
明日方舟游戏助手：一键完成日常任务 | 开源日报 No.233

明日方舟游戏助手：一键完成日常任务 | 开源日报 No.233

MaaAssistantArknights/MaaAssistantArknights Stars: 11.6k License: AGPL-3.0 MaaAssistantArknights 是一款《明日方舟》游戏的小助手&#xff0c;基于图像识别技术&#xff0c;支持一键完成全部日常任务。 刷理智、掉落识别及上传企鹅物流智能基建换班、自动计算干员效率…
阅读更多...
《ElementPlus 与 ElementUI 差异集合》el-select 差异点，如：高、宽、body插入等

《ElementPlus 与 ElementUI 差异集合》el-select 差异点，如：高、宽、body插入等

宽度 Element UI 父元素不限制宽度时&#xff0c;默认有个宽度 207px&#xff1b; 父元素有固定宽度时&#xff0c;以父元素宽度为准&#xff1b; Element Plus 父元素不限制宽度时&#xff0c;默认100%&#xff1b; 父元素有固定宽度时&#xff0c;以父元素宽度为准&#x…
阅读更多...
哪些因素影响了PCB电路板切割精度？

哪些因素影响了PCB电路板切割精度？

PCB电路板切割是电子制造过程中一个至关重要的环节&#xff0c;其精度对后续工序的质量和效率具有决定性影响。因此&#xff0c;了解影响PCB电路板切割精度的原因&#xff0c;对于提高电子产品的质量和生产效率具有重要意义。 1. PCB分板机稳定性 PCB分板机的性能直接影响到切…
阅读更多...
最新文章

Copyright @ 2022~2023