hf-mirror 使用

文章目录

    • 命令下载
    • 搜索下载
    • gated model


根据这篇文章:
大模型下载使我痛苦

得知 Huggingface 镜像站 https://hf-mirror.com


命令下载

网站首页会介绍下载方法

更多用法(多线程加速等)详见这篇文章。简介:

方法一:使用huggingface 官方提供的 huggingface-cli 命令行工具。

(1) 安装依赖

pip install -U huggingface_hubCopy

(2) 基本命令示例:

export HF_ENDPOINT=https://hf-mirror.comCopy
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m \
--local-dir bloom-560mCopy
  • 这里模型名称为 bigscience/bloom-560m
    保存的文件夹为 bloom-560mCopy

(3) 下载需要登录的模型(Gated Model)

请添加 --token hf_*** 参数,其中 hf_*** 是 access token,请在 huggingface官网这里获取。示例:

huggingface-cli download --token hf_*** \
--resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf \
--local-dir Llama-2-7b-hfCopy

方法二:使用url直接下载时,将 huggingface.co 直接替换为本站域名hf-mirror.com

使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。

下载需登录的模型需命令行添加 --header hf_*** 参数,token 获取具体参见上文。


方法三:(非侵入式,能解决大部分情况)huggingface 提供的包会获取系统变量,所以可以使用通过设置变量来解决。

HF_ENDPOINT=https://hf-mirror.com python your_script.pyCopy

不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了


搜索下载

你也可以通过搜索,下载 需要的模型,比如
https://hf-mirror.com/NousResearch/Llama-2-13b-hf

在这里插入图片描述


gated model

在这里插入图片描述


在这里插入图片描述


如果已授权,需要在 huggingface 登陆后,拿到 token,然后用命令行从 hf-mirror 下载

HF 获取token:https://huggingface.co/settings/tokens


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/326233.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

DBeaver安装步骤

DBeaver 是一个基于 Java 开发,免费开源的通用数据库管理和开发工具,使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。 由于 DBeaver 基于 Java 开发,可以运行在各种操作系统上,包括:Windows、Linux…

用Photoshop来制作GIF动画

录了个GIF格式的录屏文件,领导让再剪辑下,于是用Photoshop2023进行剪辑,录屏文件有约1400帧,PS保存为GIF格式时,还是挺耗时的,平时少用PS来进行GIF剪辑,编辑后的GIF不能动,网上搜索的…

Servlet- Response

一、预览 介绍完Servlet-Resquest的相关内容后,接下来就是Servlet- Response的内容。读者阅读完本篇文章后将可以自如地解析请求、设置响应,完成对客户端的响应。 二、Response体系结构 Response的体系结构与Request完全一样,其中ServletRe…

【LeetCode】203. 移除链表元素(简单)——代码随想录算法训练营Day03

题目链接:203. 移除链表元素 题目描述 给你一个链表的头节点 head 和一个整数 val ,请你删除链表中所有满足 Node.val val 的节点,并返回 新的头节点 。 示例 1: 输入:head [1,2,6,3,4,5,6], val 6 输出&#xff…

低代码高逻辑谱写IT组织和个人的第二成长曲线 | 专访西门子Mendix中国区总经理王炯

在今天快速演进的数字化转型浪潮中,低代码平台已经成为推动企业敏捷适应市场变化的关键引擎。在此背景下,西门子Mendix作为市场上的领导者,以其创新的低代码解决方案不断地刷新着行业标准。 近日,LowCode低码时代访谈了西门子Men…

Linux:curl命令

一、最常用的curl命令 1、发送GET请求 curl URL curl URL?a1&bnihao 2、发送POST请求 curl -X POST -d a1&bnihao URL 3、发送json格式请求: curl -H "Content-Type: application/json" -X POST -d {"abc":123,"bcd"…

k8s---配置资源管理

内容预知 目录 内容预知 secret资源配置 secert的几种模式 pod如何来引用secret 陈述式创建secret 声明式base64编码配置secret 将secret用vlumes的方式挂载到pod中 传参的方式将环境变量导入pod 如何通过secret加密方式获取仓库密码 configmap的资源配置 陈述式创建…

【图像分类】【深度学习】【轻量级网络】【Pytorch版本】EfficientNet_V1模型算法详解

【图像分类】【深度学习】【轻量级网络】【Pytorch版本】EfficientNet_V1模型算法详解 文章目录 【图像分类】【深度学习】【轻量级网络】【Pytorch版本】EfficientNet_V1模型算法详解前言EfficientNet_V1讲解问题辨析(Problem Formulation)缩放尺寸(Scaling Dimensions)复合缩…

图深度网络浅层理解

图神经网络 1.输入: 图网络 2.输出: 节点类别、某两个节点的新连接、产生新的图或子图 3.端到端表示学习(Representation Learning)/图嵌入: 将节点映射为d维的向量,d维向量就包含了这个节点的连接关系…

IPKISS ------ 远程服务器 IPKISS 内置示例安装问题

IPKISS ------ 远程服务器示例安装问题 引言正文 引言 很多时候,如果我们在服务器上使用管理员权限安装了 IPKISS 证书,而我们使用个人账号登录服务器时有时候会显示如下界面: 我们会看到这个 PyCharm (Luceda Academy) 是灰色的。那么该怎…

Linux网络文件共享服务

目录 一.文件存储类型 1.直连式存储:Direct-Attached Storage,简称DAS 2.存储区域网络:Storage Area Network,简称SAN(可以使用空间,管理也是你来管理) 3.网络附加存储:Network-…

2024打胜仗,从打造高绩效团队开始

如何提高员工执行力,打造高绩效团队?是所有管理者都会关注的问题。对于组织来说,一个优秀的团队,是保障组织绩效稳定且不断提升的关键,那么应该如何管理团队,实现团队整体绩效提高呢?华恒智信通…

简单整理FFmpeg相关命令集

FFmpeg相关命令集 简单整理了FFmpeg相关命令,主要包括ffplay播放控制和媒体播放命令、ffmpeg命令相关参数以及常用的提取音视频等命令。 🎡导航小助手🎡 FFmpeg相关命令集1.ffmpeg命令分类查询2.ffplay命令2.1 ffplay播放控制2.2 ffplay命令…

云联惠 被查 消费积分合法化!——全新消费返利模式!共享购!

大家好 我是吴军 一家软件开发公司的产品经理 今天讲一讲,曾经盛极一时的云联惠,巅峰时期达到一千万的用户,资金6000亿。 前几年云联惠如火如荼,到处都是在宣传云联惠的,小编也略玩了一下下。 当时因为政策的不明朗…

十三、Three场景物体增加发光特效

物体发光效果非常炫酷,本期来讲three场景内物体自带发光效果怎么来实现。本次使用的是threejs138版本,在vue3+vite+ant的项目中使用。 下面来看看实现的效果。绿色罐体有了明显的发光效果。 实现步骤 增加composer.js import { UnrealBloomPass } from three/examples/jsm/po…

【已解决】Linux下执行Shell脚本出现$‘\r‘: command not found

【已解决】Linux下执行Shell脚本出现$‘\r‘: command not found 1、起因2、原因:3、解决方法:(运行以下命令即可修改该脚本格式) 1、起因 今天把 Windows 的项目导入 linux 运行,执行 shell 脚本的时候,报…

(2023版)斯坦福CS231n学习笔记:DL与CV教程 (3) | 正则化与最优化

前言 📚 笔记专栏:斯坦福CS231N:面向视觉识别的卷积神经网络(23)🔗 课程链接:https://www.bilibili.com/video/BV1xV411R7i5💻 CS231n: 深度学习计算机视觉(2017&#xf…

【产品测试】Bug报告的四个元素,你知道吗?

前言 由于任何由人编写的程序都不可避免的存在着不符合测试需求的错误,也就是bug。因此需要一个方法来跟踪、分析和展示那些测试活动,避免偏离最小。这种方法称之为错误跟踪系统。它主要是有效的管理缺陷,实现以下作用: 1)减少由…

Java--业务场景:在Spring项目启动时加载Java枚举类到Redis中

文章目录 前言实现项目启动时加载枚举值到Redis1. 定义EnumInterface接口2. 创建EnumDTO3. 创建ClassUtils工具类4. 创建EnumService接口5. 创建EnumServiceImpl6. 修改枚举类7. 创建ApplicationInit 测试结果 前言 新的一年即将来到,回首2023年,也是学…

深入解析JavaScript中new Function语法

🧑‍🎓 个人主页:《爱蹦跶的大A阿》 🔥当前正在更新专栏:《VUE》 、《JavaScript保姆级教程》、《krpano》、《krpano中文文档》 ​ ​ ✨ 前言 Function是JavaScript中非常重要的内置构造函数,可以用来动态创建函数…