Windows中使用Docker安装Anythingllm，基于deepseek构建自己的本地知识库问答大模型，可局域网内多用户访问、离线运行

文章目录

      • Windows中使用Docker安装Anythingllm，基于deepseek构建自己的知识库问答大模型
      • 1. 安装 Docker Desktop
      • 2. 使用Docker拉取Anythingllm镜像
      • 2. 设置 `STORAGE_LOCATION` 路径
      • 3. 创建存储目录和 `.env` 文件
        • `.env` 文件的作用
        • 关键配置项
      • 4. 运行 Docker 命令
        • `docker run` 命令详细解析
        • 各部分的含义
      • 5. 访问应用
      • 6. 配置环境
        • 聊天设置
        • 向量数据库
        • 嵌入首选项
        • 添加知识库
        • 成员管理
        • 局域网内其他用户访问
      • 7. 总结

Windows中使用Docker安装Anythingllm，基于deepseek构建自己的知识库问答大模型

我习惯在CMD中运行命令，我看一些教程使用Docker安装Anythingllm时在Power Shell中。

该教程在 Windows CMD 中运行这个 docker 命令，以下是从头到尾的步骤，包括如何在 CMD 中正确设置和运行该命令。

电脑配置：Win11+wsl2+4070tis+内存48G

大模型：ollama-deepseek-r1:14b

所用软件：ollama+docker+anythingllm

4070tis使用anythingllm，在deepseek-r1:14b下的生成tocken速度大概是：52toc/s

请添加图片描述

备注：ollama需要自己首先安装，去官网下载，然后拉取对应大模型即可。

1. 安装 Docker Desktop

确保你已经安装并启动了 Docker Desktop。如果还没有安装，可以从 Docker 官网 下载并安装。

Docker官方网址：https://www.docker.com/products/docker-desktop/

记得开启电脑wsl2，如果没有安装过wsl，可以看如下：

微软官方教程：https://learn.microsoft.com/en-us/windows/wsl/setup/environment

2. 使用Docker拉取Anythingllm镜像

拉取镜像命令如下：

docker pull mintplexlabs/anythingllm

之后查看是否有该镜像，使用命令：

docker images

请添加图片描述

可以看到电脑中存在Anythingllm这个镜像了

2. 设置 STORAGE_LOCATION 路径

在 CMD 中，你可以使用 set 命令来设置环境变量。假设你希望将 STORAGE_LOCATION 设置为 Windows 的文档目录，可以按以下步骤操作，逐行运行如下命令，如下图，这三行可以从如下面代码行中复制。
请添加图片描述

  1. 打开 CMD（管理员模式）。

  2. 设置存储目录（你可以自定义这个路径，下面是一个示例）：
    第一行代码

    set STORAGE_LOCATION=%USERPROFILE%\Documents\anythingllm

3. 创建存储目录和 .env 文件

确保存储目录存在，并且 .env 文件已经创建。使用以下命令来确保这些文件存在：

  1. 创建存储目录（如果目录不存在）：
    第二行代码

    if not exist "%STORAGE_LOCATION%" mkdir "%STORAGE_LOCATION%"

  2. 创建 .env 文件（如果文件不存在）：
    第三行代码

    if not exist "%STORAGE_LOCATION%\.env" echo. > "%STORAGE_LOCATION%\.env"

此时会在电脑文档的文件夹下，存在一个anythingllm文件夹，如下所示：

请添加图片描述

该文件夹下存在一个.env文件，存放一些配置。

.env 文件的作用

.env 文件是用于存储容器配置的环境文件，通常包含敏感信息和应用的配置参数。例如，配置大语言模型（LLM）、API 密钥、数据库连接等。容器运行时，它会读取 .env 文件并使用其中的配置信息。

关键配置项

在 .env 文件中，常见的配置项包括：

  • SERVER_PORT：指定服务器运行的端口。
  • JWT_SECRET：用于生成和验证 JWT（JSON Web Token）的密钥。
  • STORAGE_DIR：指定存储数据的路径。
  • LLM_PROVIDER：配置大语言模型提供者。
  • OLLAMA_BASE_PATH：配置 Ollama 服务的基础 URL 地址。
  • OPEN_AI_KEY：用于访问 OpenAI API 的密钥。

.env 文件中配置的内容会根据你的需求和使用的服务不同而有所变化。

4. 运行 Docker 命令

在 CMD 中，你可以使用单行命令运行 Docker。这里是调整后的命令，适合在 Windows CMD 中运行：

docker run -d --name anythingllm --add-host=host.docker.internal:host-gateway --env STORAGE_DIR=/app/server/storage --health-cmd "/bin/bash /usr/local/bin/docker-healthcheck.sh || exit 1" --health-interval 60s --health-start-period 60s --health-timeout 10s -p 3001:3001/tcp --restart=always --user anythingllm -v %STORAGE_LOCATION%:/app/server/storage -v %STORAGE_LOCATION%\.env:/app/server/.env -w /app mintplexlabs/anythingllm

运行之后如下图，会启动一个容器，用一大串字母表示，该字母是Docker 为该容器分配一个唯一的 ID，这个 ID 主要用于在 Docker 系统中管理容器。你可以用这个 ID 来执行不同的 Docker 命令，比如停止容器、查看容器日志、查看容器状态等。

请添加图片描述

查看当前所有的容器，命令如下：

docker ps

请添加图片描述

可以看到我们已经成功启动一个容器

docker run 命令详细解析

给出的命令用于启动 AnythingLLM Docker 容器，以下是对该命令中每个字段的详细解释：

各部分的含义
  1. docker run -d
    docker run 命令用于启动一个新的容器，-d 表示容器将以“分离模式”（后台运行）启动。这样，命令执行完后，你可以继续在终端中操作。
  2. --name anythingllm
    给容器指定一个名字 anythingllm。这个名字用来唯一标识容器，可以方便地进行容器管理（例如，停止、重启、删除容器等）。
  3. --add-host=host.docker.internal:host-gateway
    添加一个额外的主机名解析。在 Docker 容器内，通过 host.docker.internal 可以访问宿主机的网络接口，这对于需要连接到宿主机的服务（比如本地运行的 ollama 服务）非常有用。host-gateway 是指容器访问宿主机的网关地址。
  4. --env STORAGE_DIR=/app/server/storage
    设置容器内部的环境变量。STORAGE_DIR=/app/server/storage 会将容器内部的存储目录设置为 /app/server/storage。该目录用于存储 AnythingLLM 的数据，如模型、日志等。
  5. --health-cmd "/bin/bash /usr/local/bin/docker-healthcheck.sh || exit 1"
    设置容器的健康检查命令。docker-healthcheck.sh 是一个用于检查容器健康状态的脚本。它会定期运行，确保容器的正常工作。如果健康检查失败（即返回非零退出状态），则 Docker 会认为容器不可用。
  6. --health-interval 60s
    设置健康检查命令的执行间隔为 60 秒。即每 60 秒 Docker 会运行一次健康检查命令。
  7. --health-start-period 60s
    设置容器启动后的健康检查延迟时间。即容器启动后，Docker 会等待 60 秒再开始执行健康检查。
  8. --health-timeout 10s
    设置健康检查命令的超时时间为 10 秒。如果健康检查命令在 10 秒内没有返回结果，则认为健康检查失败。
  9. -p 3001:3001/tcp
    映射容器内部的端口 3001 到宿主机的端口 3001。3001 是 AnythingLLM Web 界面的默认端口。在启动容器后，你可以通过访问 http://localhost:3001 来访问 AnythingLLM。
  10. --restart=always
    设置容器的重启策略。always 表示当容器停止运行时，Docker 会自动重启该容器，确保容器始终在后台运行。
  11. --user anythingllm
    以指定的用户 anythingllm 来运行容器内的程序。此选项确保容器内的进程以指定的用户身份执行，而不是使用默认的 root 用户。
  12. -v %STORAGE_LOCATION%:/app/server/storage
    将宿主机的目录 %STORAGE_LOCATION% 挂载到容器内部的 /app/server/storage 目录。%STORAGE_LOCATION% 是之前在 CMD 中设置的环境变量，指向容器存储数据的路径。这样，容器内的数据会存储到宿主机的指定路径上，容器重启后数据仍然保留。
  13. -v %STORAGE_LOCATION%\.env:/app/server/.env
    将宿主机的 .env 文件（位于 %STORAGE_LOCATION% 路径下）挂载到容器内的 /app/server/.env 文件。.env 文件通常用于存储配置参数，如 API 密钥、数据库配置等。这样，容器启动时可以加载这些配置。
  14. -w /app
    设置容器内的工作目录为 /app。这意味着容器内的程序将以这个目录作为默认工作目录。
  15. mintplexlabs/anythingllm
    指定要运行的 Docker 镜像，这里是 mintplexlabs/anythingllm，它包含了 AnythingLLM 的所有必要文件和配置。

这条 Docker 命令启动了一个 AnythingLLM 容器，并通过挂载宿主机的存储目录和 .env 文件，使得容器能够持续存储数据并加载配置。容器以后台运行，并提供 Web 服务，可以通过 http://localhost:3001 访问应用。

5. 访问应用

成功运行该命令后，你可以通过浏览器访问 http://localhost:3001 来进行初始配置。

http://localhost:3001

请添加图片描述

选择ollama，然后选择对应的大模型

请添加图片描述

选择team，可以设置多用户登录

请添加图片描述

6. 配置环境

访问 http://localhost:3001 后，进行相关配置，如配置大语言模型（LLM）、向量数据库等。根据需要更新 .env 文件中的配置参数，如 SERVER_PORT、OPEN_AI_KEY 等。

聊天设置

新建一个空间区，然后聊天设置改为对应的模型，到最下面，进行确认

请添加图片描述

向量数据库

如果默认的效果不好，向量数据库可以选择 精度优化

请添加图片描述

嵌入首选项

默认的也可以，如果默认的解析知识库有问题，也可以使用ollama提供的nomic-embed-text

请添加图片描述

添加知识库

点击工作区的上传按钮：

请添加图片描述

打开如下界面，然后上传对应的文档

请添加图片描述

移动到工作区，然后进行保存和嵌入

请添加图片描述

成员管理

设置里面，找到管理员-用户，然后在右上角添加用户

请添加图片描述
可以为用户选择不同的角色。不同角色持有的权限是不同的请添加图片描述

局域网内其他用户访问

首先查看部署本机的IPv4地址，例如1.1.1.1
局域网内其他用户浏览器访问：1.1.1.1:3001即可
如下图所示
在这里插入图片描述

这应该是几个常用的内容，其他东西，请自行研究

7. 总结

在 Windows CMD 中运行 Docker 命令的步骤如下：

  1. 设置环境变量 STORAGE_LOCATION，并确保该路径存在。
  2. 创建必要的存储目录和 .env 文件。
  3. 使用单行命令在 CMD 中运行 Docker 容器。
  4. 通过浏览器访问 http://localhost:3001 进行初始化配置。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/968480.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

w~自动驾驶~合集17

w~自动驾驶~合集17

我自己的原文哦~ https://blog.51cto.com/whaosoft/13269720 #FastOcc 推理更快、部署友好Occ算法来啦！ 在自动驾驶系统当中，感知任务是整个自驾系统中至关重要的组成部分。感知任务的主要目标是使自动驾驶车辆能够理解和感知周围的环境元素&#…
阅读更多...
利用邮件合并将Excel的信息转为Word（单个测试用例转Word）

利用邮件合并将Excel的信息转为Word（单个测试用例转Word）

利用邮件合并将Excel的信息转为Word 效果一览效果前效果后 场景及问题解决方案 一、准备工作准备Excel数据源准备Word模板 二、邮件合并操作步骤连接Excel数据源插入合并域预览并生成合并文档 效果一览 效果前 效果后 场景及问题 在执行项目时的验收阶段，对于测试…
阅读更多...
2024 CyberHost 语音+图像-视频

2024 CyberHost 语音+图像-视频

项目：CyberHost: Taming Audio-driven Avatar Diffusion Model with Region Codebook Attention 音频驱动的身体动画面临两个主要挑战：（1）关键人体部位，如面部和手部，在视频帧中所占比例较小&#x…
阅读更多...
web前端第三次作业

web前端第三次作业

题目 本期作业 WEB第三次作业 请使用JS实一个网页中登录窗口的显示/隐藏&#xff0c;页面中拖动移动&#xff0c;并且添加了边界判断的网页效 代码图片 效果展示 代码 <!DOCTYPE html> <html lang"zh"> <head> <meta charset"UTF-8&qu…
阅读更多...
国产ARM处理器工控机如何助力企业实现自主可控？

国产ARM处理器工控机如何助力企业实现自主可控？

选择国产ARM处理器工控机的原因可以从多个角度来考虑&#xff0c;包括技术、经济、安全和政策等方面。以下是一些关键理由&#xff1a; 技术优势 低功耗高效能&#xff1a;ARM架构以其出色的能效比著称&#xff0c;适合需要长时间运行的工业控制应用。适应性强&#xff1a;国…
阅读更多...
力扣24题——两两交换链表中节点

力扣24题——两两交换链表中节点

#题目 #代码 /*** Definition for singly-linked list.* public class ListNode {* int val;* ListNode next;* ListNode() {}* ListNode(int val) { this.val val; }* ListNode(int val, ListNode next) { this.val val; this.next next; }* }*/ clas…
阅读更多...
DedeBIZ系统审计小结

DedeBIZ系统审计小结

之前简单审计过DedeBIZ系统&#xff0c;网上还没有对这个系统的漏洞有过详尽的分析&#xff0c;于是重新审计并总结文章&#xff0c;记录下自己审计的过程。 https://github.com/DedeBIZ/DedeV6/archive/refs/tags/6.2.10.zip &#x1f4cc;DedeBIZ 系统并非基于 MVC 框架&…
阅读更多...
leetocde92：翻转链表II

leetocde92：翻转链表II

前文关于反转链表的解析https://blog.csdn.net/weixin_46028606/article/details/145592860?fromshareblogdetail&sharetypeblogdetail&sharerId145592860&sharereferPC&sharesourceweixin_46028606&sharefromfrom_link 翻转链表II 代码一定要结合下面的图…
阅读更多...
考研操作系统----操作系统的概念定义功能和目标（仅仅作为王道哔站课程讲义作用）

考研操作系统----操作系统的概念定义功能和目标（仅仅作为王道哔站课程讲义作用）

目录 操作系统的概念定义功能和目标 操作系统的四个特征 操作系统的分类 ​编辑 操作系统的运行机制 系统调用 操作系统体系结构 操作系统引导 虚拟机 操作系统的概念定义功能和目标 什么是操作系统&#xff1a; 操作系统是指控制和管理整个计算机系统的软硬件资源&…
阅读更多...
【WB 深度学习实验管理】使用 PyTorch Lightning 实现高效的图像分类实验跟踪

【WB 深度学习实验管理】使用 PyTorch Lightning 实现高效的图像分类实验跟踪

本文使用到的 Jupyter Notebook 可在GitHub仓库002文件夹找到&#xff0c;别忘了给仓库点个小心心~~~ https://github.com/LFF8888/FF-Studio-Resources 在机器学习项目中&#xff0c;实验跟踪和结果可视化是至关重要的环节。无论是调整超参数、优化模型架构&#xff0c;还是监…
阅读更多...
异位妊娠唯一相关的是年龄（U型曲线）

异位妊娠唯一相关的是年龄（U型曲线）

异位妊娠唯一相关的是年龄&#xff08;U型曲线&#xff09; 简介 异位妊娠&#xff0c;俗称宫外孕&#xff0c;是指受精卵在子宫体腔以外着床发育的异常妊娠过程 。正常情况下&#xff0c;受精卵会在子宫内着床并发育成胎儿&#xff0c;但在异位妊娠中&#xff0c;受精卵却在…
阅读更多...
ESM3(1)-介绍：用语言模型模拟5亿年的进化历程

ESM3(1)-介绍：用语言模型模拟5亿年的进化历程

超过30亿年的进化在天然蛋白质空间中编码形成了一幅生物学图景。在此&#xff0c;作者证明在进化数据上进行大规模训练的语言模型&#xff0c;能够生成与已知蛋白质差异巨大的功能性蛋白质&#xff0c;并推出了ESM3&#xff0c;这是一款前沿的多模态生成式语言模型&#xff0c;…
阅读更多...
CondaValueError: Malformed version string ‘~‘: invalid character(s)

CondaValueError: Malformed version string ‘~‘: invalid character(s)

CondaValueError: Malformed version string ‘~‘: invalid character(s) 送一张 GPT plus 、 deepseek-R1 满血 体验卡&#xff5e; https://bbs.csdn.net/topics/619568415 ​ 报错原因 使用conda安装一些库时出现以下报错&#xff1a; CondaValueError: Malformed versio…
阅读更多...
01、单片机上电后没有正常运行怎么办

01、单片机上电后没有正常运行怎么办

单片机上电后没有运转， 首先要检查什么？ 1、单片机供电是否正常？ &电路焊接检查 如果连最基本的供电都没有，其它都是空谈啊！检查电路断路了没有？短路了没有？电源合适吗？有没有虚焊？ 拿起万用表之前，预想一下测量哪里？供电电压应该是多少？对PCB上电压测量点要…
阅读更多...
基于Java的分布式系统架构设计与实现

基于Java的分布式系统架构设计与实现

Java在大数据处理中的应用&#xff1a;基于Java的分布式系统架构设计与实现 随着大数据时代的到来&#xff0c;数据处理的规模和复杂性不断增加。为了高效处理海量数据&#xff0c;分布式系统成为了必不可少的架构之一。而Java&#xff0c;凭借其平台独立性、丰富的生态系统以…
阅读更多...
【含文档+PPT+源码】基于Python的全国景区数据分析以及可视化实现

【含文档+PPT+源码】基于Python的全国景区数据分析以及可视化实现

项目介绍 本课程演示的是一款基于Python的全国景区数据分析以及可视化实现&#xff0c;主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 包含&#xff1a;项目源码、项目文档、数据库脚本、软件工具等所有资料 带你从零开始部署运行本套系统 该…
阅读更多...
Apache Kafka 中的认证、鉴权原理与应用

Apache Kafka 中的认证、鉴权原理与应用

编辑导读&#xff1a;本篇内容将进一步介绍 Kafka 中的认证、鉴权等概念。AutoMQ 是与 Apache Kafka 100% 完全兼容的新一代 Kafka&#xff0c;可以帮助用户降低 90%以上的 Kafka 成本并且进行极速地自动弹性。作为 Kafka 生态的忠实拥护者&#xff0c;我们也会持续致力于传播 …
阅读更多...
初阶数据结构：树---二叉树的链式结构

初阶数据结构：树---二叉树的链式结构

目录 一、二叉树的链式结构 &#xff08;一&#xff09;、概念 二、二叉树链式结构的实现 &#xff08;一&#xff09;、二叉树链式结构的遍历 1、前序遍历 2、中序遍历 3、后序遍历 4、层序遍历 &#xff08;二&#xff09;、二叉树的构建 &#xff08;三&#xff0…
阅读更多...
SurfGen爬虫：解析HTML与提取关键数据

SurfGen爬虫：解析HTML与提取关键数据

一、SurfGen爬虫框架简介 SurfGen是一个基于Swift语言开发的爬虫框架&#xff0c;它提供了丰富的功能&#xff0c;包括网络请求、HTML解析、数据提取等。SurfGen的核心优势在于其简洁易用的API和高效的性能&#xff0c;使得开发者能够快速构建爬虫程序。以下是SurfGen的主要特…
阅读更多...
pyrender 渲染报错解决

pyrender 渲染报错解决

pyrender渲染后&#xff0c;出来的图样子不对&#xff1a; 正确的图&#xff1a; 解决方法&#xff1a; pip install numpy1.26 下面的不是必须的&#xff1a; pip install pyrender0.1.45 os.environ["PYOPENGL_PLATFORM"] "egl" os.environ[EGL_DEVI…
阅读更多...
最新文章

Copyright @ 2022~2023