lora微调大模型Qwen2.5_32B

最近有在尝试用lora微调Qwen大模型,在这里主要记录下实践过程。Qwen模型下载可以去魔塔社区,我这里是提前下载好了放在/public/DownloadedModels下。LLamaFactory源码地址:GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

 

目录

1. 准备数据

2. 设置lora微调时模型、数据位置

3. lora微调模型

 4. 模型推理

5. 模型合并

 

1. 准备数据

(1)由于我微调的目的是为了评价某些KPI指标,所以我的准备数据的格式设置如下:

(2)数据准备好之后,将json文件上传到LLamaFactory项目的data目录下:

(为了方便操作,我将data目录下的数据移到examples下了)

注:我是上传之后将data.json改名SteelData.json了,内容不变。

(3)vi打开dataset_info.son文件,并在dataset_info.json文件里添加 数据文件信息。

2. 设置lora微调时模型、数据位置

 vi打开/LLaMA-Factory/examples/train_lora目录下的llama3_lora_sft.yaml文件:

 这里需要设置Qwen模型位置,数据集的名称(这里用的是dataset_info中对steelData数据文件的命名)和微调模型的输出位置(为了方便操作,我把saves目录下也移到/LLaMA-Factory/examples目录下了):

 

3. lora微调模型

(1)在examples目录下进行微调训练,这里需要切换到虚拟环境(具体要求可参考llamaFactory要求),FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=0,1,2,3  表示单机多卡训练。我这里微调Qwen2.5_32B一块卡是不够用的,最起码两块卡(我这里是A800的卡)。如果还报错,有可能就是卡还是不够。

 

 我这里运行报错,经过多次尝试,我发现deepspeed方法对我是有效的。

(2)于是我在llama3_lora_sft.yaml文件中添加了deepspeed设置

 (3)添加完deepspeed之后,需要用pip 安装deepspeed,否则再次运行微调程序会显示没有deepspeed这个模块。我这里就不再安装了,截个安装好的图。

 注:安装deepspeed的时候可能会报缺少nvvc错误,这个时候可以输入以下命令安装(亲测有效,昨天刚试成功):

conda install cuda-nvcc -c conda-forge

 (4)再次运行微调程序

(torch24) root@e70a6fd3f126:/data/LLaMA-Factory/examples# FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=0,1,2,3  llamafactory-cli train train_lora/llama3_lora_sft.yaml 

运行结果如下:

(5)运行成功之后,可以看到saves/lora下有内容了:

 

 4. 模型推理

(1)  打开inference目录下的llama3_lora_sft.yaml文件,设置模型路径: 

 

(2)  运行模型推理命令

torch24) root@e70a6fd3f126:/data/LLaMA-Factory/examples# FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=0,1,2,3  llamafactory-cli chat inference/llama3_lora_sft.yaml

运行结果如下: 

 

 接下来就可以和大模型对话了。

(3) 测试微调结果

因为我数据中每次都是先计算平均值,所以这个结果说明模型是学习了,只不过效果不好,我还得继续调参数。还有不知道为什么最后又把输入数据重复了一遍,有朋友知道是为什么嘛?

5. 模型合并

(1)首先需要设置/examples/merge_lora目录下的文件llama3_lora_sft.yaml文件,如下图所示,我设置了使用的大模型位置,微调后的模型位置以及模型合并后的位置。

 (2)设置完之后就可以运行模型合并程序了

(torch24) root@e70a6fd3f126:/data/LLaMA-Factory/examples# llamafactory-cli export merge_lora/llama3_lora_sft.yaml

 运行结果如下:

 运行完之后,modles/llama3_lora_sft目录下就有内容了:

以上便是最近lora微调大模型Qwen2.5_32B的实践过程了,希望可以帮助到大家~

感谢关注!!后续有关大模型的实践也将尽快更新~ 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/925617.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python 和 Pyecharts 对Taptap相关数据可视化分析

结果展示: 数据来源: Python爬取TapTap 热门游戏信息并存储到数据库(详细版) 目录 结果展示: 数据来源: Python爬取TapTap 热门游戏信息并存储到数据库(详细版 一、引言 二、准备工作 三、…

Atiyah交换代数经典入门教材:Introduction to Commutative Algebra

在上帖中,我分享了Zariski的交换代数教材:Zariski交换代数经典教材Commutative Algebra系列(pdf可复制版)。其实交换代数方面,除了Zariski的教材,还有Atiyah的Introduction to Commutative Algebra&#xf…

ADAM优化算法与学习率调度器:深度学习中的关键工具

深度学习模型的训练效果离不开优化算法和学习率的选择。ADAM(Adaptive Moment Estimation)作为深度学习领域中广泛应用的优化算法之一,以其高效性和鲁棒性成为许多任务的默认选择。而学习率调度器则是优化算法的“助推器”,帮助训…

SuperMap Objects组件式GIS开发技术浅析

引言 随着GIS应用领域的扩展,GIS开发工作日显重要。一般地,从平台和模式上划分,GIS二次开发主要有三种实现方式:独立开发、单纯二次开发和集成二次开发。上述的GIS应用开发方式各有利弊,其中集成二次开发既可以充分利…

DM达梦管理工具拖出空白区块,无法关闭

1. 出现问题:DM达梦管理工具拖出空白区块,无法关闭。 2. 解决方法 新建查询页,把查询页拖到空白区块里,完全覆盖空白区块。之后空白区块会变成查询页,右上角会出现叉号,点击叉号关闭就行。 3. 后记 达梦…

idea_卸载与安装

卸载与安装 卸载1、设置 -> 应用2、查找到应用,点击卸载3、把删除记录和设置都勾选上4、删除其它几个位置的残留 安装1、下载安装包2、欢迎安装 -> Next3、选择安装目录 -> Next4、创建快捷图标和添加到环境变量5、确认文件夹的名称 -> Install6、完成安…

学习threejs,使用specularMap设置高光贴图

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:threejs gis工程师 文章目录 一、🍀前言1.1 ☘️THREE.MeshPhongMaterial高…

UR开始打中国牌,重磅发布国产化协作机器人UR7e 和 UR12e

近日,优傲(UR)机器人公司立足中国市场需求,重磅推出UR7e和UR12e 两款本地化协作机器人。它们延续优傲(UR)一以贯之的高品质与性能特质,着重优化负载自重比,且在价格层面具竞争力&…

2024年陕西科技大学数据结构程序填空题+预测

递归实现插入排序 #include <stdio.h>void insertion_sort(int arr[], int n) {if (n > 1){insertion_sort(arr, n - 1);arr[0] arr[n];int i;for (i n - 1; i > 0; i--){if (arr[i] > arr[0]){arr[i 1] arr[i];}else{break;}}arr[i 1] arr[0];} }int m…

OGRE 3D----3. OGRE绘制自定义模型

在使用OGRE进行开发时,绘制自定义模型是一个常见的需求。本文将介绍如何使用OGRE的ManualObject类来创建和绘制自定义模型。通过ManualObject,开发者可以直接定义顶点、法线、纹理坐标等,从而灵活地构建各种复杂的几何体。 Ogre::ManualObject 是 Ogre3D 引擎中的一个类,用…

基于PoE交换机的智慧停车场监控组网应用

伴随城市发展快速&#xff0c;汽车保有量也不断增长&#xff0c;导致停车管理问题也愈发凸显。针对包括路侧停车位、地面停车场、地下停车场等场景的停车管理需求&#xff0c;通常会部署监控设备进行车位监测、现场安全监测等&#xff0c;助力构建智能化停车管理。因此如何为分…

直接抄作业!Air780E模组LuatOS开发:位运算(bit)示例

在嵌入式开发中&#xff0c;位运算是一种高效且常用的操作技巧。本文将介绍如何使用Air780E模组和LuatOS进行位运算&#xff0c;并通过示例代码帮助读者快速上手。 一、位运算概述 位运算是一种在计算机系统中对二进制数位进行操作的运算。由于计算机内部数据的存储和处理都是…

多点DMALL启动招股:将在港交所上市,聚焦数字零售服务

近日&#xff0c;多点数智有限公司&#xff08;Dmall Inc.&#xff0c;下称“多点”或“多点DMALL”&#xff09;发布全球发售文件&#xff0c;于11月28日至12月3日招股&#xff0c;预计将于2024年12月6日在港交所主板挂牌上市。 招股书显示&#xff0c;多点DMALL本次全球发售的…

WRF-Chem模式安装、环境配置、原理、调试、运行方法;数据准备及相关参数设置方法

大气污染是工农业生产、生活、交通、城市化等方面人为活动的综合结果&#xff0c;同时气象因素是控制大气污染的关键自然因素。大气污染问题既是局部、当地的&#xff0c;也是区域的&#xff0c;甚至是全球的。本地的污染物排放除了对当地造成严重影响外&#xff0c;同时还会在…

离线安装 Docker-IO:详细步骤指南

离线安装 Docker-IO:详细步骤指南 一、准备工作1.1 下载 Docker 离线安装包1.2 准备安装环境1.3 配置防火墙和 SELinux(可选)二、上传和解压离线安装包2.1 上传安装包2.2 解压安装包三、安装 Docker-IO3.1 移动 Docker 文件到系统目录3.2 配置 Docker 服务3.3 赋予服务文件执…

拥抱 OpenTelemetry:阿里云 Java Agent 演进实践

作者&#xff1a;陈承 背景 在 2018 年的 2 月&#xff0c;ARMS Java Agent 的第一个版本正式发布&#xff0c;为用户提供无侵入的的可观测数据采集服务。6 年后的今天&#xff0c;随着软件技术的迅猛发展、业务场景的逐渐丰富、用户规模的快速增长&#xff0c;我们逐渐发现过…

【信息系统项目管理师】第3章:信息系统治理 考点梳理

文章目录 3.1 IT 治理3.1.1 IT治理基础3.1.2 IT治理体系3.1.3 IT治理任务3.1.4 IT治理方法与标准 3.2 IT 审计3.2.1 IT审计基础3.2.2 审计方法与技术3.2.3 审计流程3.2.4 审计内容 3.1 IT 治理 IT治理起到重要的统筹、评估、指导和监督作用。 信息技术审计(IT审计)作为与IT治…

DRM(数字权限管理技术)防截屏录屏----ffmpeg安装

提示&#xff1a;ffmpeg安装 文章目录 [TOC](文章目录) 前言一、下载二、配置环境变量三、运行ffmpeg四、文档总结 前言 FFmpeg是一套可以用来记录、转换数字音频、视频&#xff0c;并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的…

github webhooks 实现网站自动更新

本文目录 Github Webhooks 介绍Webhooks 工作原理配置与验证应用云服务器通过 Webhook 自动部署网站实现复制私钥编写 webhook 接口Github 仓库配置 webhook以服务的形式运行 app.py Github Webhooks 介绍 Webhooks是GitHub提供的一种通知方式&#xff0c;当GitHub上发生特定事…

全桥LLC变换器原理及MATLAB仿真模型

“电气仔推送”获得资料&#xff08;专享优惠&#xff09; 主电路拓扑 全桥LLC 谐振变换器主电路拓扑结构图。图中S1 &#xff5e; S4为功率开关管&#xff0c; D1 &#xff5e; D4为功率开关管的体二极管&#xff0c; C1 &#xff5e; C4 为功率开关管的寄生电容。谐振电感r…