【问题解决】huggingface 离线模型下载

问题

        因业务需要在本机测试embedding分词模型,使用 huggingface上的transformers 加载模型时,因为网络无法访问,不能从 huggingface 平台下载模型并加载出现如下错误。

        下面提供几种模型下载办法

 
解决

        有三种方式下载模型,一种是通过 huggingface model hub 的按钮下载,一种是使用 huggingface 的 transformers 库实例化模型进而将模型下载到缓存目录(上述报错就是这种),另一种是通过 huggingface 的 huggingface_hub 工具进行下载。下面介绍两种方式:

huggingface 按钮下载

点击下图的下载按钮,把所有文件下载到一个目录即可。

因网络原因无法下载可使用访问镜像HF-Mirror - Huggingface 镜像站

huggingface_hub 工具(推荐)

  • 安装 huggingface_hub
python -m pip install huggingface_hub
  • 使用 huggingface_hub 的 snapshot_download 函数下载
from huggingface_hub import snapshot_download
snapshot_download(repo_id="BAAI/bge-m3")
  • 也可以使用 huggingface_hub 提供的命令行工具(推荐)
huggingface-cli download BAAI/bge-m3

如果觉得下载比较慢,使用 huggingface 镜像提速

可以通过设置HF_ENDPOINT环境变量用以切换下载的地址。

  • 设置环境变量
# Linux 系统
export HF_ENDPOINT=https://hf-mirror.com
# Windows 系统
$env:HF_ENDPOINT = "https://hf-mirror.com"

  • 下载模型
huggingface-cli download BAAI/bge-m3

注意:在windows中需要使用管理员启动命令行

关于 huggingface_hub 的更多用法可阅读 Download an entire repository。

其他

另外也可以使用 hf_transfer进行 提速,可以与此处我没有用到,不展开介绍

Download files from the Hub
  • 安装 hf_transfer
pip install hf_transfer
  • 设置环境变量
export HF_HUB_ENABLE_HF_TRANSFER=1
  • 下载模型
huggingface-cli download internlm/internlm2-chat-7b

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/654327.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

《书生·浦语大模型实战营》第1课 学习笔记:书生·浦语大模型全链路开源体系

文章大纲 1. 简介与背景智能聊天机器人与大语言模型目前的开源智能聊天机器人与云上运行模式 2. InternLM2 大模型 简介3. 视频笔记:书生浦语大模型全链路开源体系内容要点从模型到应用典型流程全链路开源体系 4. 论文笔记:InternLM2 Technical Report简介软硬件基础…

苹果手机数据不慎删除?这4个方法果粉必看!

苹果手机该怎么恢复丢失的数据呢?有时候会因为使用不当或者是被他人误删等原因,导致重要的数据丢失,这时我们需要找回丢失手机数据,小编给大家分享4种恢复苹果手机数据的技巧,大家赶紧来学一学吧! 一、iclo…

618有哪些值得买的好物?这几款好物通宵整理吐血推荐!

随着618购物节越来越近,很多买家终于等到了用好价钱买好东西的好机会。不管是你一直想要的家居电器,还是最新的数码产品,平时挺贵的东西在618期间会便宜不少。不过,这么多东西可选,促销活动也多得让人看花了眼&#xf…

SAM遥感图像处理开源新SOTA!在GPU上实现40倍加速,不损准确性

在遥感图像处理领域,通过SAM捕捉复杂图像特征和细微差异,可以实现高精度的图像分割,提升遥感数据的处理效率。这种高度的准确性让SAM遥感展现出了比传统方法更优越的性能。 不仅如此,这种策略灵活普适的特性还能拓展遥感技术的应…

Python | Leetcode Python题解之第102题二叉树的层序遍历

题目: 题解: class Solution:def levelOrder(self, root: Optional[TreeNode]) -> List[List[int]]:if not root: return []res, queue [], collections.deque()queue.append(root)while queue:tmp []for _ in range(len(queue)):node queue.popl…

Unity3D让BoxCollider根据子物体生成自适应大小

系列文章目录 unity工具 文章目录 系列文章目录unity工具 👉前言👉一、编辑器添加👉二、代码动态添加的方法(第一种)👉三、代码动态添加的方法(第二种)👉四、重新设置模型的中心点👉壁纸分享👉…

分布式事务解决方案(最终一致性【可靠消息解决方案】)

可靠消息最终一致性解决方案 可靠消息最终一致性分布式事务解决方案指的是事务的发起方执行完本地事务之后,发出一条消息,事务的参与方,也就是消息的消费者一定能够接收到这条消息并且处理完成,这个方案强调的是只要事务发起方将消…

03 FreeRTOS 同步互斥与通信

1、同步与互斥 一句话理解同步与互斥:我等你用完厕所,我再用厕所。 什么叫同步?就是:哎哎哎,我正在用厕所,你等会。 什么叫互斥?就是:哎哎哎,我正在用厕所,你…

太阳能语音监控杆(球机LED款)有什么用

传统监控设备依赖电力支持,在偏远地区和没有网络地区难以发挥其作用,而鼎跃安全的太阳能语音监控杆(球机LED款)在传统监控基础上,进行了全面优化,解决了无电无网区域使用受限的问题。 太阳能语音监控杆&am…

关于已配好java环境但双击无法打开jar包的解决方案

如果你已经装好了 java 环境直接跳到最后看解决方法即可 先说一下你安装的 java 环境,如果完全是默认选项安装,则会安装 jdk 和 jre,并且在安装 jre 时还需要安装目录下为空,其实 jre 的安装是多余的,因为安装的 jdk 里…

无人机侦察:雷达系统概述

一、雷达基本原理 无人机侦察中的雷达系统主要基于无线电波的传播和反射原理。雷达发射机产生特定频率的电磁波,并通过天线以定向波束形式向空间发射。当这些电磁波遇到目标时,部分能量会被反射回来,被雷达接收机捕获。通过测量发射和接收电…

VUE3学习第一篇:启动ruoyi

1、找到ruoyi的vue3版本 然后下载代码到本地, 我刚开始用的nodejs14报错, 后面换成nodejs16,启动前端成功了。 页面如下图所示

记一次Chanakya靶机的渗透测试

Chanakya靶机渗透测试 首先通过主机发现发现到靶机的IP地址为:172.16.10.141 然后使用nmap工具对其进行扫描:nmap -sC -sV -sS -p- 172.16.10.141 发现目标靶机开启了80,22,21等多个端口, 访问80端口,发现是一个普通的页面,点击进入多个界面也没有其他有用的信息,然…

ArcgisPro3.1.5安装手册

ArcgisPro3.1.5安装手册 一、目录介绍: 二、安装教程: (1)安装顺序:最先安装运行环境(runtime6.0.5),接着安装install里面的文件,最后复制path里面的文件替换到软件bin文件夹下即可。 (2)具体安装步骤&#xff…

图算法新书发布会圆满成功,大咖现场都讲了啥?

5月24日,嬴图与机工社携手举办的“《图算法:行业应用与实践》新书发布会”圆满成功。 现场直播在线观众达4000人/次左右,点赞数量超7000,直至发布会尾声,观看人数仍在持续增长。 通过观众们的反馈,我们也对…

JavaWeb_SpringBootWeb

先通过一个小练习简单了解以下SpringBootWeb。 小练习: 需求:使用SpringBoot开发一个Web应用,浏览器发起请求/hello后,给浏览器返回字符串"Hello World~"。 步骤: 1.创建SpringBoot项目,勾选We…

切勿安装这五款流氓软件,你中招了没

流氓软件,又称为恶意软件,是一类设计用来损害用户设备、窃取信息或干扰正常使用的程序。以下是五款臭名昭著的流氓软件介绍,提醒切勿安装,只能说一个比一个毒,你中招了没 可以去去虚拟机试试谁的毒更强一些&#xff0…

杨若歆发布最新单曲《迷雾之谜》从啦啦女神到音乐新星的华丽转身

5月28日,台北——杨若歆,这位被粉丝封为"啦啦女神"的多才多艺艺人,近日推出了她的最新单曲《迷雾之谜》,这首歌曲以其空灵的旋律和杨若歆独特的高音,迅速在歌迷中引起了热烈的反响。 杨若歆,身高…

精酿啤酒:品质与口感在消费者选择中的权重分析

在啤酒市场中,消费者选择的影响因素众多,其中品质与口感是两个核心要素。对于Fendi club啤酒而言,品质与口感的权重分析在消费者选择中显得尤为重要。 品质是消费者选择啤酒的首要因素。随着消费者对啤酒认知的提高,他们对品质的…