索引增强

1.自动合并块

在建立索引时，分两个粒度搭建，一个是chunk本身，另一个是chunk所在的parent chunk。先搜索更细粒度的chunks，接着采用一种合并的策略——如果前k个子chunk中超过n个chunk属于同一个parent chunk，那么就将这个parent chunk提供给LLM。

2.分层索引

我们可以对数据创建两层索引：一个是摘要索引，另一个是文档chunk索引。然后分两步进行搜索：首先根据摘要过滤出相关的文档，然后仅在这个文档相关组内进行搜索相应的chunks。

这种方法适用于大量的数据，或者数据的分层结构比较明显的情况，如图书馆藏书内容检索。

3.混合检索，重排序

混合检索是在vector相似性召回的基础上，多增加一路或多路召回，然后将这些从多路召回的结果rerank。这种方法同时使用多种类型的检索方法来提高检索质量，以弥补向量召回偶发的遗漏。

除了vector相似性召回之外，一般采用基于词频的召回算法来作为补充召回，比如BM25等，或一些sparse embedding的模型，如splade等。

Rerank操作可以是一些简单的算法（如RRF）或一些小模型（如Cross-Encoder）。