大模型之路3:趟到了Llama-Factory,大神们请指点

各种AI工具和框架层出不穷,为开发者和研究者提供了前所未有的便利。当然了,也有困扰。尤其是对于动手能力越来越弱的中年油腻老程序员来说,更是难上加难。据说,嗯,据师弟说,说LlamaFactory凭借其独特的功能和优势,在AI领域(他所下载的代码和工具里),引起了广泛的关注(能够调试通过的)。当然,由于硬件环境的缘故,他的3个6000卡不好用,可能是有点老了吧,导致虽然能调试通过,但是运行一个开始就完了。

今天,我在自己这边的环境上,也尝试了,感觉还可以。有坑是自然的。

1、优点

一、高效的模型训练与调优

LlamaFactory在模型训练方面表现出了极高的效率。的确是快,比我用代码行和bash、jupyter都快多了。通过其提供的丰富的预训练模型和调优工具,用户可以快速地搭建起适用于自己任务的AI模型。在实际应用中,我发现LlamaFactory的训练速度明显快于之前的手搓方式,这主要得益于其界面上的组织。当然,底层优化的算法和高效的并行计算能力我还没完全体会到。(代码方式我是体会到了)。此外,按理说的,LlamaFactory还支持多种硬件平台,包括CPU、GPU和TPU等,进一步提升了训练的灵活性和效率。但是我没有运行成功。这个就比较扯。

语言栏里,有中英(俄?),中英文切换一下,对于去代码里手搓还是有帮助的,可以更好的理解。反正我目前对于这所谓的适配器还没理解到位,希望大神能指点一下,谢谢。

二、灵活的模型定制与扩展

除了高效的训练性能,LlamaFactory还提供了灵活的模型定制和扩展功能。用户可以根据自己的需求,轻松地调整模型的参数和结构,以适应不同的应用场景。据说,LlamaFactory能够成为了一个强大的“瑞士军刀”,无论是文本生成、图像识别还是语音识别等任务,都能通过简单的配置和调整实现出色的性能。但是我这么一个新新手,还没了解那么深刻。

就这些设置,我都已经眼花缭乱了。

三、创新的Adapter技术

值得一提的是,LlamaFactory引入了创新的Adapter技术,这是一种轻量级的模型调整方法,可以在不改变原有模型结构的情况下,通过添加额外的网络层来适应新的任务。这种技术不仅保留了原有模型的泛化能力,还大大降低了模型调优的复杂度和成本。据说,Adapter技术显著提升了模型在新任务上的表现,能让人深刻体会到其实用性。但是我还是没搞明白。

比如配合着预览命令,我一下就明白了,之前的手搓bash就是这样的,但是问题在于,这个输出路径我大概看明白了,就是之前微调的时候输出的那个目录。那么,adapter的路径...又迷糊了,我也不会编辑Adapter啊。那,看来是要额外添加网络层的,这个其实更适合我来做后续的东西。加油吧。我的理解可能是这样,如果不对,大神请纠正。至于怎么用adapter,学习过程中希望大神们指点。再谢谢。

四、友好的用户界面与社区支持

LlamaFactory在用户体验方面也做得非常出色。其提供了直观易用的图形化界面,使得用户无需深入了解复杂的底层技术,就能轻松上手并享受AI带来的便利。我现在就只是看的官方介绍,是从gitee上看的 grang/LLaMA-Factory。

2、修改数据集

主要就是数据集的设置,按照readme的介绍,修改就好了,主要就是dataset的json文件

因为大模型的确不是很好去看效果,我才开始就弄错了,但是也没有发现。

有一个地方,就是数据集要写成下面这样

我开始的时候用python写这个数据集文件,把output也写成了json,然后就出错了(我用的是cmd conda 运行的方式,原因也正是下面求助所示)

3、求助

如上面所看到的,我进行配置后,按理说应该是可以了。那么点“start”以后就应该可以跑起来了。事实上,并没有。

很礼帽的给我干出来一个警告。但是我并没有感觉哪个地方需要设置多GPU啊。

而且,我手搓Bash的时候,single和mul 是两个不一样的sh,我翻了翻后面的代码,也没看明白应该在哪里去设置。希望路过的大神驻足,请指点迷津,谢三次

最后,我还是把那个预览代码拷贝到服务器上手动执行的,才成功。很奇怪,超出了我的学习范围。

祝大家天天都开心。。。。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/510729.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

实验:基于Red Hat Enterprise Linux系统的创建磁盘和磁盘分区(一)

目录 一. 实验目的 二. 实验内容 三. 实验设计描述及实验结果 fdisk [参数] [设备] 1. 为虚拟机添加1块大小为3-5G的硬盘nvme,将该硬盘划分1个主分区和两个逻辑分区分别为600MB。 partprobe [选项] [设备] 2. 将主分区格式化为ext4文件系统并挂载到/自己名字命名…

Screeps Arena 游戏基础教程

一. 游戏内教程汉化1. 循环和导入(Loop and Import)2. 简单移动(Simple move)3. 首次攻击(First Attack)4. 爬虫的身体部分(Creeps Bodies)5. 存储和转移 (Store and Tra…

合并两个单链表

归纳编程学习的感悟, 记录奋斗路上的点滴, 希望能帮到一样刻苦的你! 如有不足欢迎指正! 共同学习交流! 🌎欢迎各位→点赞 👍 收藏⭐ 留言​📝 但行前路,不负韶华&#…

dataloader numworkers

numworkers是加载数据的额外cpu数量(也可以看成额外的进程)。可以理解是: dataset中的getitem只能得到单个数据, 而numworker设置后是同时加载numwork个数据到RAM中,当需要数据时,不会重新执行getiem的方法…

代码随想录算法训练营第四十二天 | 卡码网46. 携带研究材料、416. 分割等和子集

代码随想录算法训练营第四十二天 | 卡码网46. 携带研究材料、416. 分割等和子集 卡码网46. 携带研究材料题目解法 416. 分割等和子集题目解法 感悟 卡码网46. 携带研究材料 题目 解法 题解链接 二维数组 # include <bits/stdc.h> using namespace std;int n, bagweig…

读取信息boot.bin和xclbin命令

bootgen读Boot.bin命令 johnjohn-virtual-machine:~/project_zynq/kv260_image_ubuntu22.04$ bootgen -read BOOT-k26-starter-kit-202305_2022.2.bin xclbinutil读xclbin命令 johnjohn-virtual-machine:~/project_zynq/kv260_image_ubuntu22.04$ xclbinutil -i kv260-smartca…

【Vue】vue3简介与环境配置

文章目录 项目编码规范什么是 Vue&#xff1f;安装node环境nvm针对node版本惊醒管理的工具 项目编码规范 组合式API Typescript setup(语法糖) 什么是 Vue&#xff1f; Vue 是一款用于构建用户界面的 JavaScript 框架。它基于标准 HTML、CSS 和 JavaScript 构建&#xff0c;…

Linux系统下安装jdk与tomcat【linux】

一、yum介绍 linux下的jdk安装以及环境配置&#xff0c;有两种常用方法&#xff1a; 1.使用yum一键安装。 2.手动安装&#xff0c;在Oracle官网下载好需要的jdk版本&#xff0c;上传解压并配置环境。 这里介绍第一种方法&#xff0c;在此之前简单了解下yum。 yum 介绍 yum&…

联系媒体要有方法莫让投稿发文章只剩一声长叹相见恨晚

曾有一位饱经世事的前辈以一句至理名言警醒世人:“人之所以领悟道理,往往不是源于抽象的道理本身,而是生活给予的实实在在的挫折教训,如同撞南墙一般的痛彻觉醒;同样,让人豁然开朗的,也不是空洞的说教,而是实实在在的人生磨砺。”这一哲理,放在我们日常工作中亦有深刻的启示作用…

困难样本挖掘:Hard Sample Mining(原理及实现)

Hard Sample Mining Hard Sample Mining&#xff0c;即困难样本挖掘&#xff0c;是目标检测中的一种常用方法。其主要思想是针对训练过程中损失较高的样本&#xff08;即那些难以被正确分类的样本&#xff09;进行挖掘&#xff0c;并将其补充到数据集中重新训练&#xff0c;以…

【Qt 学习笔记】Qt 背景介绍

博客主页&#xff1a;Duck Bro 博客主页系列专栏&#xff1a;Qt 专栏关注博主&#xff0c;后期持续更新系列文章如果有错误感谢请大家批评指出&#xff0c;及时修改感谢大家点赞&#x1f44d;收藏⭐评论✍ Qt 背景介绍 文章编号&#xff1a;Qt 学习笔记 / 01 文章目录 Qt 背景…

配置plsql链接Oracle数据库(新手)

配置plsql链接Oracle数据库 安装Oracle客户端 、安装plsql客户端并激活 配置tnsnames.ora文件&#xff08;路径D:\app\peter\Oracle\InstantClient\network\admin根据你的实际路径设置&#xff09; 配置文件如下 # tnsnames.ora Network Configuration File: D:\app\peter\O…

【CKA模拟题】一文教你用StorageClass轻松创建PV

题干 For this question, please set this context (In exam, diff cluster name) kubectl config use-context kubernetes-adminkubernetesYour task involves setting up storage components in a Kubernetes cluster. Follow these steps: Step 1: Create a Storage Class…

卡尔曼滤波笔记

资料&#xff1a;https://www.zhihu.com/question/47559783/answer/2988744371 https://www.zhihu.com/question/47559783 https://blog.csdn.net/seek97/article/details/120012667 一、基本思想 在对一个状态值进行估计的时候&#xff0c;如果想测量值更准&#xff0c;很自然…

“探秘数据结构:栈的奇妙魔力“

每日一言 兰有秀兮菊有芳&#xff0c;怀佳人兮不能忘。 —刘彻- 栈 栈的概念及结构 栈(Stack) &#xff1a;一种特殊的线性表&#xff0c;其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶&#xff0c;另一端称为栈底。栈中的数据元素遵守…

vue3+vite 模板vue3-element-admin框架如何关闭当前页面跳转 tabs

使用模版: 有来开源组织 / vue3-element-admin 需要关闭的.vue 页面增加以下方法 //setup 里import {LocationQuery, useRoute, useRouter} from "vue-router"; const router useRouter(); function close() {console.log(|--router.currentRoute.value, router.cur…

【MySQL系列】使用 ALTER TABLE 语句修改表结构的方法

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

每日一题 第六十三期 洛谷 树状数组模板

【模板】树状数组 1 题目描述 如题&#xff0c;已知一个数列&#xff0c;你需要进行下面两种操作&#xff1a; 将某一个数加上 x x x 求出某区间每一个数的和 输入格式 第一行包含两个正整数 n , m n,m n,m&#xff0c;分别表示该数列数字的个数和操作的总个数。 第二…

4.2 JavaWeb Day05分层解耦

三层架构功能 controller层接收请求&#xff0c;响应数据&#xff0c;层内调用了service层的方法&#xff0c;service层仅负责业务逻辑处理&#xff0c;其中要获取数据&#xff0c;就要去调用dao层&#xff0c;由dao层进行数据访问操作去查询数据&#xff08;进行增删改查&…

YOLOv8结合SCI低光照图像增强算法!让夜晚目标无处遁形!【含端到端推理脚本】

这里的"SCI"代表的并不是论文等级,而是论文采用的方法 — “自校准光照学习” ~ 左侧为SCI模型增强后图片的检测效果,右侧为原始v8n检测效果 这篇文章的主要内容是通过使用SCI模型和YOLOv8进行算法联调,最终实现了如上所示的效果:在增强图像可见度的同时,对图像…