大模型本地部署教程 | 搭建本地AI问答系统

前言

大家好，因为对AI大模型很感兴趣，相信很多兄弟们跟我一样，所以最近花时间了解了一些，有一些总结，分享给大家，希望对各位有所帮助。本文将讲解如何在本地搭建一个简易的AI问答系统，主要用java来实现，也有一些简单的python知识；网上很多例子都是以 ChatGPT来讲解的，但因为它对国内访问有限制，OpeAi连接太麻烦，又要虚拟账号注册账号啥的，第一步就劝退了，所以选择了 llama和qwen替代，但是原理都是一样的。

AI应用开发框架

（一）Langchain

官网：https://www.langchain.com/langchain

LangChain不是一个大数据模型，而是一款可以用于开发类似AutoGPT的AI应用的开发工具，LangChain简化了LLM应用程序生命周期的各个阶段，且提供了开发协议、开发范式，并拥有相应的平台和生态；

LangChain 是一个由 Harrison Chase 创立的框架，专注于帮助开发者使用语言模型构建端到端的应用程序。它特别设计来简化与大型语言模型（LLMs）的集成，使得创建由这些模型支持的应用程序变得更加容易。LangChain 提供了一系列工具、组件和接口，可以用于构建聊天机器人、生成式问答系统、摘要工具以及其他基于语言的AI应用。

LangChain 的核心特性包括：

1.链式思维（Chains）：LangChain 引入了“链”（Chain）的概念，这是一系列可组合的操作，可以按顺序执行，比如从获取输入、处理数据到生成输出。链条可以嵌套和组合，形成复杂的逻辑流。

2.代理（Agents）：代理是更高级别的抽象，它们可以自主地决定如何使用不同的链条来完成任务。代理可以根据输入动态选择最佳行动方案。

3.记忆（Memory）：LangChain 支持不同类型的内存，允许模型保留历史对话或操作的上下文，这对于构建有状态的对话系统至关重要。

4.加载器和拆分器（Loaders and Splitters）：这些工具帮助读取和处理各种格式的文档，如PDF、网页、文本文件等，为模型提供输入数据。

5.提示工程（Prompt Engineering）：LangChain 提供了创建和管理提示模板的工具，帮助引导模型生成特定类型的内容。

6.Hub：LangChain Hub 是一个社区驱动的资源库，其中包含了许多预构建的链条、代理和提示，可以作为构建块来加速开发过程。

7.与外部系统的集成：LangChain 支持与外部数据源和API的集成，如数据库查询、知识图谱、搜索引擎等，以便模型能够访问更广泛的信息。

8.监控和调试工具：为了更好地理解和优化应用程序，LangChain 提供了日志记录和分析功能，帮助开发者追踪模型的行为和性能。

（二）LangChain4J

上面说的 LangChain 是基于python 开发的，而 LangChain4J 是一个旨在为 Java 开发者提供构建语言模型应用的框架。受到 Python 社区中 LangChain 库的启发，LangChain4J 致力于提供相似的功能，但针对 Java 生态系统进行了优化。它允许开发者轻松地构建、部署和维护基于大型语言模型的应用程序，如聊天机器人、文本生成器和其他自然语言处理（NLP）任务。

主要特点：

1.模块化设计：LangChain4J 提供了一系列可组合的模块，包括语言模型、记忆、工具和链，使得开发者可以构建复杂的语言处理流水线。

2.支持多种语言模型：LangChain4J 支持与各种语言模型提供商集成，如 Hugging Face、OpenAI、Google PaLM 等，使得开发者可以根据项目需求选择最合适的模型。

3.记忆机制：它提供了记忆组件，允许模型记住先前的对话历史，从而支持上下文感知的对话。

4.工具集成：LangChain4J 支持集成外部工具，如搜索API、数据库查询等，使得模型能够访问实时数据或执行特定任务。

5.链式执行：通过链式执行，可以将多个语言处理步骤链接在一起，形成复杂的处理流程，例如先分析用户意图，再查询数据库，最后生成回复。

主要功能：

1.LLM 适配器：允许你连接到各种语言模型，如 OpenAI 的 GPT-3 和 GPT-4，Anthropic 的 Claude 等。

2.Chains 构建：提供一种机制来定义和执行一系列操作，这些操作可以包括调用模型、数据检索、转换等，以完成特定的任务。

3.Agent 实现：支持创建代理（agents），它们可以自主地执行任务，如回答问题、完成指令等。

4.Prompt 模板：提供模板化的提示，帮助指导模型生成更具体和有用的回答。

5.工具和记忆：允许模型访问外部数据源或存储之前的交互记录，以便在会话中保持上下文。

6.模块化和可扩展性：使开发者能够扩展框架，添加自己的组件和功能。

本地问答系统搭建环境准备

（一）用 Ollama 启动一个本地大模型

\1. 下载安装 Ollma

ollama 是一个命令行工具，用于方便地在本地运行 LLaMA 系列模型和其他类似的 transformer 基础的大型语言模型。该工具简化了模型的下载、配置和推理过程，使得个人用户能够在自己的机器上直接与这些模型交互，而不需要直接接触复杂的模型加载和推理代码；

下载地址：https://ollama.com/，下载完成后，打开 Ollma，其默认端口为11334，浏览器访问：http://localhost:11434 ，会返回：Ollama is running，电脑右上角展示图标；

\2. 下载大模型

安装完成后，通过命令行下载大模型，命令行格式：ollma pull modelName，如：ollma pull llama3；

大模型一般要几个G，需要等一会；个人建议至少下载两个， llama3、 qwen，这两个都是开源免费的，英文场景用 llama3，中文场景用 qwen；

下载完成后，通过 ollma list 可以查看已下载的大模型；

\3. 启动大模型

确认下载完成后，用命令行：ollma run 模型名称，来启动大模型；启动后，可以立即输入内容与大模型进行对话，如下：

（二）启动本地向量数据库 chromadb

Chroma 是一款 AI 原生开源矢量数据库，它内置了入门所需的一切，可在本地运行，是一款很好的入门级向量数据库。

\1. 安装：pip install chromadb ;

\2. 启动：chroma run ：

用java实现本地AI问答功能

（一）核心maven依赖：

在这里插入图片描述

（二）代码编写：

\1. 加载本地文件作为本地知识库：

public static void main(String[] args) throws ApiException {
    //======================= 加载文件=======================    
    Document document = getDocument("笑话.txt");

}

private static Document getDocument(String fileName) {
        URL docUrl = LangChainMainTest.class.getClassLoader().getResource(fileName);        
        if (docUrl == null) {        
            log.error("未获取到文件");        
        }        
        
        Document document = null;        
        try {       
            Path path = Paths.get(docUrl.toURI());            
            document = FileSystemDocumentLoader.loadDocument(path);       
        } catch (URISyntaxException e) {       
            log.error("加载文件发生异常", e);        
        }        
        return document;    
    }

\2. 拆分文件内容：

//======================= 拆分文件内容=======================
//参数：分段大小（一个分段中最大包含多少个token）、重叠度（段与段之前重叠的token数）、分词器（将一段文本进行分词，得到token）
DocumentByLineSplitter lineSplitter = new DocumentByLineSplitter(200, 0, new OpenAiTokenizer());
List<TextSegment> segments = lineSplitter.split(document);
log.info("segment的数量是: {}", segments.size());

//查看分段后的信息
segments.forEach(segment -> log.info("========================segment: {}", segment.text()));

3. 文本向量化并存储到向量数据库：

//提前定义两个静态变量
private static final String CHROMA_DB_DEFAULT_COLLECTION_NAME = "java-langChain-database-demo";
private static final String CHROMA_URL = "http://localhost:8000";


//======================= 文本向量化=======================
OllamaEmbeddingModel embeddingModel = OllamaEmbeddingModel.builder()
        .baseUrl("http://localhost:11434")        
        .modelName("llama3")        
        .build();


//======================= 向量库存储=======================
Client client = new Client(CHROMA_URL);

//创建向量数据库
EmbeddingStore<TextSegment> embeddingStore = ChromaEmbeddingStore.builder()
        .baseUrl(CHROMA_URL)        
        .collectionName(CHROMA_DB_DEFAULT_COLLECTION_NAME)        
        .build();

segments.forEach(segment -> {
    Embedding e = embeddingModel.embed(segment).content();    
    embeddingStore.add(e, segment);
});

\4. 向量库检索：

//======================= 向量库检索=======================
String qryText = "北极熊";
Embedding queryEmbedding = embeddingModel.embed(qryText).content();

EmbeddingSearchRequest embeddingSearchRequest = EmbeddingSearchRequest.builder().queryEmbedding(queryEmbedding).maxResults(1).build();
EmbeddingSearchResult<TextSegment> embeddedEmbeddingSearchResult = embeddingStore.search(embeddingSearchRequest);
List<EmbeddingMatch<TextSegment>> embeddingMatcheList = embeddedEmbeddingSearchResult.matches();
EmbeddingMatch<TextSegment> embeddingMatch = embeddingMatcheList.get(0);
TextSegment textSegment = embeddingMatch.embedded();
log.info("查询结果: {}", textSegment.text());

\5. 与LLM交互

//======================= 与LLM交互=======================
PromptTemplate promptTemplate = PromptTemplate.from("基于如下信息用中文回答:\n" +
        "{{context}}\n" +        
        "提问:\n" +        
        "{{question}}");
Map<String, Object> variables = new HashMap<>();
//以向量库检索到的结果作为LLM的信息输入
variables.put("context", textSegment.text());
variables.put("question", "北极熊干了什么");
Prompt prompt = promptTemplate.apply(variables);

//连接大模型
OllamaChatModel ollamaChatModel = OllamaChatModel.builder()
        .baseUrl("http://localhost:11434")        
        .modelName("llama3")        
        .build();UserMessage 

userMessage = prompt.toUserMessage();
Response<AiMessage> aiMessageResponse = ollamaChatModel.generate(userMessage);
AiMessage response = aiMessageResponse.content();
log.info("大模型回答: {}", response.text());

（三）功能测试

代码中用到 “笑话.txt” 是我随便从网上找的一段内容，大家可以随便输入点内容，为了给大家展示测试结果，我贴一下我文本内容：

在这里插入图片描述

当我输入问题：“北极熊干了什么”，程序打印如下结果：

根据故事，北极熊把自己的身上的毛一根一根地拔了下来

结语

1.以上便是完成了一个超简易的AI问答功能，如果想搭一个问答系统，可以用Springboot搞一个Web应用，把上面的代码放到业务逻辑中即可；

2.langchain 还有其他很多很强大的能力，prompt Fomat、output Fomat、工具调用、memory存储等；

3.早点认识和学习ai，不至于被它取代的时候，连对手是谁都不知道。

参考资料：

1.langchain 官网（https://www.langchain.com/）

2.langchain 入门教程https://www.bilibili.com/video/BV1XC411n72m/）

3.langchain4j github（https://github.com/langchain4j/langchain4j）

4.langchain4j 视频介绍（https://www.bilibili.com/video/BV1mm421M7ag/）

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。