Windows环境安装部署minimind步骤
-
必要的软件环境
-
git
git,可下载安装版,本机中下载绿色版,解压到本地目录下(如:c:\soft\git.win64),可将此路径添加到PATH环境变量中,供其他程序调用,也可在使用时设置临时PATH变量。
可通过vs installer进行安装,安装时选择工作负荷中的,“使用C++桌面开发项目“,并检查MSVC生成工具是否勾选
建议通过配置文件方式设置pip默认参数,配置文件位置位于%APPDADA%\pip\pip.ini,内容参考如下:
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
cache-dir = D:/soft/python/cache
trusted-host = pypi.tuna.tsinghua.edu.cn
disable-pip-version-check = false
proxy = https://127.0.0.1:18080
建议做好项目的目录规划,推荐的设置如下:
minimind #项目根目录
├── minimind # minimind 源码工程
├── modules # 模型根目录
│ └── MiniMind2 # 模型项目源码工程
├── dataset # 训练数据目录,存发jsonl训练数据文件
└── venv # python 虚拟环境目录
按照minimind中的说明,分别将minimind和MiniMind2模型工程克隆到本地,说明中默认要将模型文件克隆到minimind工程目录下,因为web-ui程序中默认使用minimind目录作为模型的根目录,如果要放在其他目录(推荐),需要修改minimind工程目录下,scripts\web_demo.py中的MODEL_PATHS变量以及minimind源码工程目录下的eval_model.py,将模型路径设置正确。
. web_demo.py
. eval_model.py
# 切换到minimind根目录
cd minimind
# 初始化虚拟环境,python可执行文件没有添加到PATH中时,可使用全路径调用python
python -m venv .\venv
# 激活虚拟环境
.\venv\scripts\active
# 安装所需的模块
pip install -r minimind\requirements.txt --use-pep517
# 安装streamlit, webui使用
pip install streamlit
# 切换到模型项目目录,如:modules\MiniMind2
cd modules\MiniMind2
# 拉取模型文件
git lfs pull
# 切换到minimind源码目录
cd minimind\minimind\scripts
# 启动webui
streamlit run web_demo.py
# 切换到minimind源码目录
cd minimind\minimind
# 启动命令行对话模式,参数含义可阅读eval_model.py
python eval_model.py --load 1 --model_mode 2
CUDA非必选安装,如果进行模型训练,推荐是使用CUDA模式,如果没有,系统会使用CPU模式进行训练,效率可能会降低。