不能访问huggingface、与GPU配置

不能访问huggingface解决方法

        如果是从 huggingface.co 下载模型,由于国内不能访问,所以建议先配置一下环境变量,

通过访问国内镜像站点 https://hf-mirror.com来下载模型。

(1)Linux系统设置环境变量:

export HF_ENDPOINT=https://hf-mirror.com

示例源码很多需要连接huggingface,连接不上的话,请读者使用下面解决方案。

连接不上huggingface的解决方案

(1)对于部分需要学习使用bert的内容,可以参考如下链接:

GitHub - 649453932/Bert-Chinese-Text-Classification-Pytorch: 使用Bert,ERNIE,进行中文文本分类

(2)而对于其他部分,可以参考将huggingface替代使用modelscope完成,一个示例代码如下:

from modelscope import AutoTokenizer, AutoModel, snapshot_download

model_dir = "../chatglm3-6b"           #直接提供chatGLM3的存储地址

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cuda()

model = model.eval()

response, history = model.chat(tokenizer, "小孩牙龈肿痛服用什么药", history=[])

print("普通ChatGLM询问结果:")

print(response)

这里就是将huggingface改成了modelscope,其他在使用上没有变化。

解决GPU模式不工作的一种方法

(1)PyTorch GPU 2.0.1版本安装,请读者学习本书时,直接使用官网地址https://pytorch.org/get-started/previous-versions/ 给出的conda命令安装。

命令如下:

# CUDA 11.8

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia

安装方法为,在Windows菜单上,点击打开Anaconda Prompt(Miniconda3) 窗口:

线管软件下载安装很快,安装完成后,使用conda list命令查看最终结果,可以看到如下安装包,注意查看一下pytorch-cuda那一行的信息:

直接采用(1)方法安装就解决问题了,不会出现(2)的问题。

(2)有一种情况:按官网给的pip命令行安装,但是GPU模式运行不起来。这是因为不能直接下载该版本 cuda 对应的 PyTorch,需要到官网上手动下载 torch 以及对应的 torchvision、torchaudio。

对于 torch 的下载网址为: https://download.pytorch.org/whl/torch_stable.html。下载你本机的 python 版本对应的 torch、torchvision、torchaudio 版本到指定文件夹下,直接在该文件夹下打开 cmd,在命令行中执行命令pip install ***.whl安装torch、torchvision、torchaudio。

如此,可能解决GPU模式运行不起来的问题。

我的驱动用了cuda 11.8,建议读者都用这个cuda 11.8版本。

DNN版本下了这个:cudnn-windows-x86_64-8.9.4.25_cuda11-archive

本书使用PyTorch 2.0.1版本,因此相应的安装包版本和执行命令如下

pip install torch-2.0.1+cu118-cp39-cp39-win_amd64.whl

pip install torchvision-0.15.2+cu118-cp39-cp39-win_amd64.whl

pip install torchaudio-2.0.2+cu118-cp39-cp39-win_amd64.whl

运行测试代码如下:

注意:代码打印出来的PyTorch版本号是2.0.1+cu118,不是2.0.1

(3)nvcc --version和nvidia-smi命令查看cuda版本不一致的问题怎么解决。

原因可能是因为nvcc和nvidia-smi显示的版本信息来源不同。

nvcc是NVIDIA CUDA编译器,它显示的是CUDA Toolkit的版本号。而nvidia-smi是NVIDIA System Management Interface,它显示的是NVIDIA驱动程序的版本号。

因此,如果您安装了不同版本的CUDA Toolkit和NVIDIA驱动程序,可以按NVIDIA驱动程序的版本,重新下载安装CUDA Toolkit。

我的驱动和Toolkit的版本一致的,都是11.8

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/697079.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

[Cloud Networking] Layer3 (Continue)

文章目录 1. DHCP Protocol1.1 DHCP 三种分配方式1.2 DHCP Relay (中继) 2. 路由协议 (Routing Protocol)2.1 RIP (Routing Information Protocol)2.2 OSPF Protocol2.3 BGP Protocol2.4 IS-IS Protocol2.5 ICMP(Internet Control Message Protocol) 1. …

Unity 设置默认字体(支持老版及新版TMP)

普通UI-Text设置 (同一unity版本设置一次即可) 1.首先工程的Resources目录下创建Fonts文件夹用于存放字体 如下图所示 2.找到Unity的安装目录下的Editor\Data\Resources\PackageManager\BuiltInPackages\com.unity.ugui\Runtime\UI\Core\Text.cs文件 …

YOLOv5改进 | 主干网络 | 用SimRepCSP作为主干网络提取特征【全网独家 + 降本增效】

💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡 SimRepCSP 类似于 YOLOv7的主干网络,由卷积模块和重参数化卷积(RepConv)模块组合而成,以 Cro…

特种设备起重机指挥题库附答案

1、【多选题】力的三要素是指:( )。(ACD) A、力的大小 B、力的单位 C、力的方向 D、力的作用点 2、【多选题】司索作业规范正确的要求是( )(ABC) A、吊点正确 B、吊索挂设合理 C、绑扎牢靠 D、吊索长短一致 3、【多选题】圆柱形物体兜吊时,一定要放空圈&#…

从零开始,手把手教你文旅产业策划全攻略

如果你想深入了解文旅策划的世界,那么有很多途径可以获取知识和灵感。 首先,阅读一些专业书籍也是一个不错的选择。书店或图书馆里有许多关于文旅策划的书籍,它们通常涵盖了策划的基本理论、方法和实践案例。通过阅读这些书籍,你…

python项目(豆瓣电影)

目录 1、项目效果 2、项目源码 3、技术实现 4、总结 前言 我的这个项目是做的一个豆瓣电影爬取,爬取了豆瓣电影的TOP排行榜的数据 包括电影的名称 演员 评分 评价人数等等 运用了TK布局助手 布了4个界面 有登录 注册 首页 详情 注意:项目并没有连接数…

讨论C++类与对象

讨论C类与对象 C语言结构体和C类的对比类的实例化类对象的大小猜想一猜想二针对上述猜想的实践 this指针不同对象调用成员函数 类的6个默认成员函数构造函数析构函数拷贝构造函数浅拷贝和深拷贝 赋值运算符重载 初始化列表初始化顺序 C语言结构体和C类的对比 在C语言中&#x…

深入探讨跨域请求(CORS):原理、解决方案与详细示例代码

深入探讨跨域请求(CORS):原理、解决方案与详细示例代码 🌐 深入探讨跨域请求(CORS):原理、解决方案与详细示例代码 🌐摘要引言正文内容什么是跨域?为什么会有跨域问题&am…

三十七篇:大数据架构革命:Lambda与Kappa的深度剖析

大数据架构革命:Lambda与Kappa的深度剖析 1. 引言 在这个数据驱动的时代,我们面临着前所未有的挑战和机遇。随着数据量的爆炸性增长,传统的数据处理方法已无法满足现代业务的需求。大数据处理不仅涉及数据量的增加,还包括数据类型的多样化、数据来源的广泛性以及对实时数据…

两句话让LLM逻辑推理瞬间崩溃!!

一道简单的逻辑问题,竟让几乎所有的LLM全军覆没? 对于人类来说,这个名为「爱丽丝梦游仙境」(AIW)的测试并不算很难—— 「爱丽丝有N个兄弟,她还有M个姐妹。爱丽丝的兄弟有多少个姐妹?」 稍加思考…

牛客题目数据结构

做过线段树2模板大概可以写出一部分代码,这题主要关键点是怎么维护平方和 借图了 这样处理完maketag的代码就出来了 void maketag(int id,int l,int r,ll v,int opt){if(opt1){seg[id].val*v;seg[id].pfval*(v*v);seg[id].mul*v;seg[id].add*v;}else{seg[id].pfva…

Java程序设计————从控制台输入

向控制台输入信息可以借助Scanner扫描器类来实现 语法: Scanner input new Scanner(System.in); 提示 (1)在使用Scanner类型之前,需要首先指明Scanner类所在的位置,既通过代码 import java.util.Scanner; &…

技术前沿 |【大模型BLIP-2的多模态训练】

大模型BLIP-2的多模态训练 一、引言二、BLIP-2模型概述三、多模态训练成本问题四、冻结预训练好的视觉语言模型参数的优势五、冻结预训练好的视觉语言模型参数的方法 一、引言 随着人工智能技术的飞速发展,大型多模态模型如BLIP-2在多个领域取得了显著的成果。然而…

CvT(ICCV 2021)论文与代码解读

paper:CvT: Introducing Convolutions to Vision Transformers official implementation:https://github.com/microsoft/CvT 出发点 该论文的出发点是改进Vision Transformer (ViT) 的性能和效率。传统的ViT在处理图像分类任务时虽然表现出色&#xf…

风能远程管理ARMxy嵌入式系统深度解析

智能技术正以前所未有的速度融入传统能源管理体系,而ARMxy工业计算机作为这一变革中的关键技术载体,正以其独特的性能优势,为能源管理的智能化升级铺设道路。本文将聚焦于智能电表、太阳能电站监控、风力发电站远程管理三大应用场景&#xff…

央视频官方出品,AI高考智友助你成就高考梦想

大家好,我是小麦。今天分享一款由央视频官方出品的AI工具套件,不仅支持直接使用,同时还具备了开发能力,是一款非常不错的AI产品工具,该软件的名称叫做扣子。 扣子是新一代 AI 应用开发平台。无论你是否有编程基础&…

【Java探索之旅】继承结构 继承和组合 protected final

文章目录 📑前言一、继承1.1 继承关系的代码块1.2 protected关键字1.3 继承方式1.4 final关键字1.5 继承与组合 🌤️全篇总结 📑前言 在面向对象编程中,继承是一种重要的概念,它允许我们创建一个新类,从现有…

全局异常处理器

后端: 全局异常处理器的作用: 当我们在项目中碰到很多不同的异常情况时,我们需要去处理异常 不过我们不可能每个异常都用try/catch,那样很不优雅 所以我们可以用这个全局异常处理器,来优雅的处理异常 这个全局异常…

AI大模型日报#0610:港大等1bit大模型“解决AI能源需求”、谷歌开源TimesFM时序预测模型

导读:AI大模型日报,爬虫LLM自动生成,一文览尽每日AI大模型要点资讯!目前采用“文心一言”(ERNIE 4.0)、“零一万物”(Yi-Large)生成了今日要点以及每条资讯的摘要。欢迎阅读&#xf…

43【PS 作图】颜色速途

1 通过PS让画面细节模糊,避免被过多的颜色干扰 2 分析画面的颜色 3 作图 参考网站: 色感不好要怎么提升呢?分享一下我是怎么练习色感的!_哔哩哔哩_bilibili https://www.bilibili.com/video/BV1h1421Z76p/?spm_id_from333.1007.…