Milvus 向量数据库实践

Milvus 向量数据库实践 - 1

假定你已经安装了docker、docker-compose 环境

参考的文档如下：

Milvus技术探究 - 知乎

MilvusClient() - Pymilvus v2.3.x for Milvus

一文带你入门向量数据库milvus

一、在docker上安装单机模式milvus数据库

1、进入milvus官网： Install Milvus Standalone with Docker Compose Milvus documentation

2、复制并执行以下执行命令：

# 下载docker-compose文件
wget https://github.com/milvus-io/milvus/releases/download/v2.3.10/milvus-standalone-docker-compose.yml -O docker-compose.yml

# 执行docker-compose 
sudo docker compose up -d

3、查看应用是否全部成功启动了：docker ps -a

4、执行docker-compose命令后，可能会出现 milvus-standalone 服务无法正常启动的情况，此时可长时间更改 milvus 的版本后再试试

5、安装 milvus 的可视化操作控制台：Attu


# MILVUS_URL 是 milvus的连接地址，这个不重要，因为在可视化控制台可以修改 
docker run -p 8000:3000 -e MILVUS_URL=127.0.0.1:19530 zilliz/attu:v2.3.0

6、浏览器打开：http://192.168.3.32:8000/

7、预先创建一个collection，方便接下来用代码来测试实际效果

二、使用python 测试图片的向量存储与检索：

注意：实际使用发现使用ResNet50模型更加方便一点，主要是dimension的维度不会特别大，milvus的向量维度最大支持：32768。而使用MobileNetV2模型的话，提取的图片向量特征的dimension为62720。所以为了方便运行代码，体验milvus，直接使用ResNet50模型。

1、直接上代码

import tensorflow as tf  
from PIL import Image  
from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input  
from tensorflow.keras.preprocessing import image  
import numpy as np  
from pymilvus import MilvusClient
import os  
  
# 初始化Milvus连接  
milvus_client = MilvusClient(uri='http://192.168.3.32:19530')  
  
# 创建一个集合来存储图片向量  
collection_name = 'image_vectors'  
vector_dim = 1000   #向量维度
field_name = 'vec'  #向量字段

# 加载预训练的ResNet50模型  
model = ResNet50(weights='imagenet', include_top=True)

# 提取图片向量
def getFilefeatureVector1(image_path):  
    img = image.load_img(image_path, target_size=(224, 224))  
    img_array = image.img_to_array(img)  
    img_array = np.expand_dims(img_array, axis=0)  
    img_array = preprocess_input(img_array)  
      
    # 使用模型提取特征  
    feature_vector = model.predict(img_array)  
    feature_vector = np.squeeze(feature_vector, axis=0)  
    return feature_vector;

 
# 待测试图片的文件夹目录
image_folder = '/data/files/milvus/'  

# 遍历文件夹下的所有图片，提取特征并存储到Milvus  
def saveFileFeatureVector():
    i=1
    for filename in os.listdir(image_folder):  
        image_path = os.path.join(image_folder, filename)
        print(filename)

        # 获取向量  
        feature_vector=getFilefeatureVector1(image_path)

        print(feature_vector)

        # 将特征向量插入到Milvus集合中  
        insert_data = [{'id':i,'fileName':filename,field_name: feature_vector.tolist()}]  
        milvus_client.insert(collection_name, insert_data)  
        i=i+1


# 用特定图片的向量特征从milvus中查询相似的图片
def searchFile():
    # 取测试一张测试图片，获取到其向量特征后，作为查询条件
    image_path = os.path.join(image_folder, "IMG_20210716_212727_edit_1565328531531.jpg")
    # 获取向量  
    feature_vector=getFilefeatureVector1(image_path)
    search_params = {"metric_type": "L2", "params": {"nprobe": 10}}

    results=milvus_client.search(
        collection_name=collection_name, 
        data = [feature_vector],
        limit=6, # 查询6条
        offset=0, # 当该参数不为空的时候，为分页查询，配合limit使用，下标从0开始
        output_fields=["fileName"],
        search_params= search_params
    )

    for hits in results:
        # get the IDs of all returned hits
        # print(hits)

        for hit in hits:
            # get the value of an output field specified in the search request.
            # dynamic fields are supported, but vector fields are not supported yet.    
            print(hit)
        
  
    
#
print('开始打印')

# 第一步，保存图片向量数据到milvus中（数据初始化成功后，可以注释掉该方法）
saveFileFeatureVector()

# 第二步，用指定图片的向量特征查询相似图片
searchFile()

# 关闭Milvus连接  
milvus_client.close()

2、saveFileFeatureVector 保存图片特征没有保存的时候，我们可以直接在Attu控制台查看数据集