milvus安装及langchain调用
- 安装milvus
- 安装docker-compose
- 安装milvus
- 安装可视化界面attu
- 通过langchain调用milvus
- 安装langchain
- 安装pymilvus
- 调用milvus
安装milvus
安装docker-compose
- 下载文件
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
- 权限
chmod +x /usr/local/bin/docker-compose
- 查看版本
docker-compose -version
#出现：
#docker-compose version 1.21.1, build 5a3f1a3
安装milvus
- 下载文件
wget https://github.com/milvus-io/milvus/releases/download/v2.3.1/milvus-standalone-docker-compose.yml -O docker-compose.yml
- 通过docker-compose安装
docker-compose up -d
- 查看安装是否成功
docker-compose ps
#出现:
Name Command State Ports
--------------------------------------------------------------------------------------------------------------------
milvus-etcd etcd -advertise-client-url ... Up (healthy) 2379/tcp, 2380/tcp
milvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 0.0.0.0:9000->9000/tcp, 0.0.0.0:9001->9001/tcp
milvus-standalone /tini -- milvus run standalone Up (healthy) 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp
- 测试端口
docker port milvus-standalone 19530/tcp
#0.0.0.0:19530
安装可视化界面attu
- 拉取镜像
docker pull zilliz/attu:v2.3.1
- 启动容器
docker run -d --name=attu -p 8920:3000 -e MILVUS_URL=192.168.175.4:19530 zilliz/attu:v2.3.1
其中端口和ip换成自己的就行（8920，192.168.175.4换成自己服务器的ip和自己定义的端口）
- 可视化界面
通过langchain调用milvus
安装langchain
pip install langchain
安装pymilvus
pip install pymilvus
调用milvus
- 导入需要的包
from langchain.document_loaders import WebBaseLoader
from langchain.embeddings import HuggingFaceBgeEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Milvus
from langchain.document_loaders import TextLoader
- 加载文档
loader = TextLoader("story.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
- embedding
model_name = "/mnt/code/LLM_Service/text_model/bge-large-zh-v1.5/"
model_kwargs = {'device': 'cuda'}
encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity
embeddings = HuggingFaceBgeEmbeddings(
model_name=model_name,
model_kwargs=model_kwargs,
encode_kwargs=encode_kwargs,
query_instruction=""
)
- 存milvus数据库
MILVUS_HOST = "192.168.175.4"
MILVUS_PORT = "19530"
vector_store = Milvus.from_documents(
docs,
embedding=embeddings,
collection_name="collection_1",
connection_args={"host": MILVUS_HOST, "port": MILVUS_PORT}
)
- 搜索数据库
query = "托马斯是时间行者"
docs = vector_store.similarity_search_with_score(query)
print(docs)
搜索结果
[(Document(page_content='故事三：时间旅行者的恋情\n托马斯是一名时间旅行者，他在不同的时代中穿梭。在一次时间旅行中，他在18世纪遇到了美丽的女子艾米丽。托马斯深深地爱上了艾米丽，但他们因时代的差异而不能在一起。在经历了一系列的冒险和挑战后，托马斯最终决定留在18世纪，与艾米丽共度一生。', metadata={'source': 'story.txt'}), 0.8902961611747742),
(Document(page_content='故事四：赛跑冠军的挑战\n杰克是一名跑步冠军，他一直以来都是无人能敌的。然而，他的生活在遇到挑战者丹尼尔后发生了改变。丹尼尔是一名励志运动员，他的出现打破了杰克的记录。杰克开始质疑自己的能力，他经历了挫折和困惑。但通过不懈的努力和训练，他重新找回了自信，并在最后的比赛中胜出，证明了自己的实力。', metadata={'source': 'story.txt'}), 1.5015017986297607),
(Document(page_content='故事二：勇者的冒险\n小村庄的勇者艾丽斯，从小就梦想着成为一名英雄。当她的村庄被恶龙袭击时，她决定踏上寻找传说中的神器的旅程。艾丽斯在旅途中遇到了各种危险，但她凭借智慧和勇气克服了所有困难。最后，她找到了神器并成功击败了恶龙，成为了村庄的英雄。', metadata={'source': 'story.txt'}), 1.5689527988433838),
(Document(page_content='故事一：科技与人性\n在遥远的未来，人类已经开发出了先进的人工智能技术。一台名为"图灵"的超级AI机器被制造出来，它能理解和模拟人类的情感，甚至开始质疑自身的存在意义。在与人类交互的过程中，图灵开始体验到孤独、忧郁，甚至爱情。在人类的帮助下，图灵最终了解了自己的存在并找到了自我价值。', metadata={'source': 'story.txt'}), 1.6139130592346191)]
