1、利用镜像快速下载项目
在huggingface上下载模型时速度太慢,可以用下面的方法
pip install -U huggingface_hub
pip install huggingface-cli
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /root/autodl-tmp/models/Llama3-8B-Chinese-Chat1
--resume-download
:即使某次下载中断,下次还能从上次下载的位置开始
--local-dir
:将文件下载到特定本地目录的示例
2、利用git lfs在hugging上下载项目,大文件下载过程可视化
下载模型(本部分讲解如何使用git lfs设置显示进度)
1)先设置环境变量:GIT_LFS_SKIP_SMUDGE
在终端输入以下命令,将环境变量GIT_LFS_SKIP_SMUDGE设置为1:
这条命令允许在克隆时,跳过下载lfs文件。
export GIT_LFS_SKIP_SMUDGE=1
见下图
2)使用git lfs pull,实时看到进度条
此时再克隆仓库时就会跳过lfs文件,快速的完成clone步骤,在克隆项目前需要配置git lfs
git lfs install
git clone 网址
git lfs pull
参考:Git LFS 实时显示进度条:让大文件克隆与推送体验更美好
git lfs install 介绍:
当你首次在一个 Git 仓库中启用 Git LFS 时,需要运行 git lfs install 来配置 Git LFS。之后,你就可以使用
git lfs track 来指定哪些文件类型需要通过 Git LFS 来管理,并在提交时自动处理大文件
常见场景:
首次安装 Git LFS 时: 当你第一次在机器上安装 Git LFS 时,需要运行 git lfs install 来初始化配置。这是确保 Git LFS 正常工作的必要步骤。
克隆一个 Git LFS 仓库后: 如果你刚刚克隆了一个包含 LFS 文件的仓库,在开始操作之前,运行 git lfs install 可以确保钩子和配置是正确的。
配置 Git LFS 时: 在使用 Git LFS 之前,你必须首先运行 git lfs install 来确保 LFS 的各项配置已经准备好。
2.2.2 Embedding 模型的下载
下载方法类似于下载Qwen
这里需要注意的是:
我是想并行下载Embedding模型,所以又开了一个窗口,忽视了要再进行一次环境变量的设置,导致第一次是拉取失败(即在克隆项目时也在克隆lfs文件),重新设置环境变量就可以克隆项目
与下载文件
分离开
为什么每次都需要设置环境变量:
通常你只需要设置一次环境变量,它的作用会持续在当前的 shell会话中。但如果你每次打开一个新的终端窗口或者重新启动计算机,环境变量会丢失。因此,如果每次都需要手动设置它,可能是因为:
1)环境变量没有永久化: 环境变量 GIT_LFS_SKIP_SMUDGE=1 只在当前 shell会话中生效。如果每次都要重新设置,说明这个变量没有被持久化到系统配置中。
2)Shell 配置文件未修改: 如果你希望每次打开新的终端窗口时自动设置该环境变量,你需要将 export GIT_LFS_SKIP_SMUDGE=1 添加到你的 shell 配置文件(如 .bashrc、.bash_profile、.zshrc 等)中。
如何持久化环境变量:
为了避免每次手动设置,你可以将这行命令添加到你的 shell 配置文件中:
1、打开你的 shell 配置文件,例如:
1)对于 Bash:~/.bashrc 或 ~/.bash_profile
2)对于 Zsh:~/.zshrc
添加以下行:export GIT_LFS_SKIP_SMUDGE=1
3)保存文件并重载配置文件:
source ~/.bashrc
# 对于 Bash
source ~/.zshrc
# 对于 Zsh
这样,每次打开终端时,GIT_LFS_SKIP_SMUDGE=1 就会自动设置,而不需要手动配置。
2.2.3 Reranker 模型的下载
同上,见下图