ElasticSearch向量检索技术方案介绍

1、背景

在人工智能快速发展的今天，推荐技术、以文搜图、以文搜视频、以图搜图等技术已经得到了广泛的应用，在百度、小红书、抖音、快手等app上随便输入一段文本，搜索结果已不像早些年那么单一：只有一些文字信息，现在的搜索结果里不仅有文字，还能够搜索出与检索词高度相关的图片、视频、或者商品(电商app)，甚至都不用检索，feed流推荐的内容或者商品都是自身感兴趣的，大家一定会有疑问，整个系统背后是如何实现的呢，为什么输入一段文字，就能检索到相关的视频、音频或者图像呢？不同的内容形式，中间是怎么实现的匹配呢？

答案就是向量匹配，不同形式的内容需要转化成一个统一的结构化数据。

AI的出现，实现了这个过程，他可以以一定的算法提取文字、图像、音频、视频等各种形式内容的特征向量，实现了将所有内容形式转化为特征向量的过程。

内容结构化为特征向量后，那么如何进行检索呢？这就涉及到了本文的主题：向量检索了。

2、es向量检索

2.1 检索算法

1、KNN算法

KNN （K-Nearest Neighbor Search）指的是最近邻搜索。它的原理是：计算待查询向量与数据库中所有向量之间的距离，然后按照距离从小到大排序，选择距离最近的 K 个向量作为查询结果。KNN 算法的优点是可以保证精确的结果，但是效率较低。

2、ANN算法

ANN（Approximate Nearest Neighbor Search）表示近似最近邻搜索，是一种用于高维数据空间中快速查找最近邻点的方法。与KNN（最近邻搜索）相比，ANN 牺牲了一定的精度以换取更高的搜索速度，因此在处理大规模数据集时具有较高的效率。

ANN 会对数据进行预处理，从而在查询时减少计算距离的次数。其优点是速度快、效率高，但精度有所下降。

3、HNSW

HNSW（Hierarchical Navigable Small World）是一种基于图的高维向量相似性搜索算法。通过构建一张图来表示向量之间的相似度关系，并使用一些优化策略来加速搜索过程。

2.2 向量距离

向量检索的本质就是计算向量之间的距离，向量距离的大小直接反映两个向量的相似程度，距离越小，两个向量越相似，反之，相似度越低。

常用的距离度量有：

欧式距离：l2
余弦距离：cosine
内积：innerproduct

2.3 elasticsearch环境

es使用的是厂内的：百度Elasticsearch，最新版本7.10，支持向量检索。

2.4 创建索引

以下面创建索引的语句为例说明，这个索引即为工作中开发使用到的，只是对字段做了精简。

{
    "settings": {
        "index": {
            "knn": true,
            "number_of_shards": 9,
            "number_of_replicas": 1
        }
    },
    "mappings": {
        "_source": {
            "excludes": [
                "IFV",
                "TFV"
            ]
        },
        "properties": {
            "car_id": {
                "type": "keyword",
                "ignore_above": 256
            },
            "camera_type": {
                "type": "keyword",
                "ignore_above": 256
            },
            "image_id": {
                "type": "keyword",
                "ignore_above": 256,
                "index": false
            },
            "bbox": {
                "properties": {
                    "left": {
                        "type": "integer",
                        "index": false
                    },
                    "top": {
                        "type": "integer",
                        "index": false
                    },
                    "width": {
                        "type": "integer",
                        "index": false
                    },
                    "height": {
                        "type": "integer",
                        "index": false
                    }
                }
            },
            "IFV": {
                "type": "bpack_vector",
                "index_type": "hnsw_sq8",
                "dims": 768,
                "space_type": "l2",
                "parameters": {
                    "m": 32,
                    "ef_construction": 256
                }
            },
            "TFV": {
                "type": "bpack_vector",
                "index_type": "hnsw_sq8",
                "dims": 768,
                "space_type": "innerproduct",
                "parameters": {
                    "m": 32,
                    "ef_construction": 256
                }
            }
        }
    }
}

各重要字段的含义如下：

字段	示例	说明
setting	{ "index": { "knn": true, "number_of_shards": 9, "number_of_replicas": 1 } }	knn：设置为ture，开启向量检索功能。 number_of_shards：分片数量，与集群节点数量一致。 number_of_replicas：副本数量，一般设置为1.
excludes	: { "excludes": [ "IMAGE", "TEXT" ] },	这个字段主要是为了减少数据的存储，这样可以大大降低对存储的消耗（IFV、TFV为向量字段）
IMAGE	"IMAGE": { "type": "bpack_vector", "index_type": "hnsw_sq8", "dims": 768, "space_type": "l2", "parameters": { "m": 32, "ef_construction": 256 } }	type：向量字段类型固定为 bpack_vector index_type: 向量检索算法，hnsw算法+sq8量化 dims：向量维度，768维 space_type：距离计算方式，l2，欧式距离 m：hnsw算法参数。此参数表示构造期间为每个新元素创建的双向链接数，主要影响内存、存储消耗以及召回率。m值越高，意味着更高消耗的内存和存储，更慢的索引构建时间，以及更好的召回率。建议根据min(向量维度 * 1.5, 32)取值，以保证性能，12-48可以满足大多数场景的需求。 ef_construction：hnsw算法参数。此参数表示在索引构建过程中，最近邻居的动态扫描区域大小。该值越大，越不容易陷入局部最优解，召回率更高，但是索引构建越慢，取值范围为[2,+∞]。需要注意，如果用户业务需求要求检索top k，那设置的ef_construction值需要大于k。

字段

示例

说明

setting

{
        "index": {
            "knn": true,
            "number_of_shards": 9,
            "number_of_replicas": 1
        }
    }

knn：设置为ture，开启向量检索功能。

number_of_shards：分片数量，与集群节点数量一致。

number_of_replicas：副本数量，一般设置为1.

excludes

: {
            "excludes": [
                "IMAGE",
                "TEXT"
            ]
        },

这个字段主要是为了减少数据的存储，这样可以大大降低对存储的消耗（IFV、TFV为向量字段）

IMAGE

            "IMAGE": {
                "type": "bpack_vector",
                "index_type": "hnsw_sq8",
                "dims": 768,
                "space_type": "l2",
                "parameters": {
                    "m": 32,
                    "ef_construction": 256
                }
            }

type：向量字段类型固定为 bpack_vector

index_type: 向量检索算法，hnsw算法+sq8量化

dims：向量维度，768维

space_type：距离计算方式，l2，欧式距离

m：hnsw算法参数。此参数表示构造期间为每个新元素创建的双向链接数，主要影响内存、存储消耗以及召回率。m值越高，意味着更高消耗的内存和存储，更慢的索引构建时间，以及更好的召回率。建议根据min(向量维度 * 1.5, 32)取值，以保证性能，12-48可以满足大多数场景的需求。

ef_construction：hnsw算法参数。此参数表示在索引构建过程中，最近邻居的动态扫描区域大小。该值越大，越不容易陷入局部最优解，召回率更高，但是索引构建越慢，取值范围为[2,+∞]。需要注意，如果用户业务需求要求检索top k，那设置的ef_construction值需要大于k。

注意，向量检索算法、维数、距离计算方式千万不能出错，否则会出现检索结果相关性降低，甚至是不相关。

索引创建完成后，就可以正是写入数据了。

2.5 检索

检索dsl：

{
    "size": 2,
    "query": {
        "knn": {
            "image-vector": {
                "vector": [
                    3,
                    4,
                    5,
                    6
                ],
                "k": 2,
                "ef": 100,
                "filter": {
                    "term": {
                        "car_id": "A88888"
                    }
                }
            }
        }
    }
}

百度elasticsearch的向量检索与官方8.x版本es的检索语句稍有不同，支持向量检索和标量的组合检索。

3、代码实现(golang)

向量检索与普通检索在代码的实现上区别不大，重点是dsl的构建与普通检索略有不同，目前在自研的dsl包（elasticsearch查询语言DSL构建包使用及实现原理(golang)_golang es包-CSDN博客）也实现了向量检索dsl的构建，可以直接使用，非常方便，使用示例：

package main

import (
	"fmt"

	"github.com/liupengh3c/esbuilder"
)

func main() {
	vector := []float64{0.045727044343948364, 0.029040496796369553,
		0.02996855601668358, 0.0001537138596177101,
		-0.011850773356854916, 0.016586067155003548,
		0.029250113293528557}
	dslQuery := esbuilder.NewDsl()
	knnQuery := esbuilder.NewKnnQuery("IFV")
	knnQuery.SetK(10).SetEf(256).SetVector(vector)
	filter := esbuilder.NewTermQuery("car_id.keyword", "京AJB139")
	knnQuery.Filter(filter)
	dslQuery.SetQuery(knnQuery)
	fmt.Println(dslQuery.BuildJson())
}

构建的dsl如下：

{
    "query": {
        "knn": {
            "IFV": {
                "ef": 256,
                "filter": {
                    "term": {
                        "car_id.keyword": "京AJB139"
                    }
                },
                "k": 10,
                "vector": [
                    0.045727044343948364,
                    0.029040496796369553,
                    0.02996855601668358,
                    0.0001537138596177101,
                    -0.011850773356854916,
                    0.016586067155003548,
                    0.029250113293528557
                ]
            }
        }
    }
}

含义为，检索car_id为京AJB139且与检索条件中向量近似的数据。