书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调

在这里插入图片描述

文章目录

  • Finetune简介
    • 指令跟随微调
    • 增量预训练微调
    • LoRA QLoRA
  • XTuner介绍
    • 快速上手
  • 8GB显卡玩转LLM
  • 动手实战环节

Finetune简介

增量预训练和指令跟随
在这里插入图片描述
通过指令微调获得instructed LLM
在这里插入图片描述

指令跟随微调

一问一答的方式进行
在这里插入图片描述
对话模板
在这里插入图片描述
计算损失
在这里插入图片描述

增量预训练微调

不需要问题只需要回答，都是陈述句。计算损失时和指令微调一样
在这里插入图片描述

LoRA QLoRA

不需要太大的显存开销。增加旁路分支Adapter。
在这里插入图片描述
比较：

  • 全参数微调：整个模型加载到显存中，所有模型的参数优化器也要加载到显存中
  • LoRA微调：模型也需要加载到显存中，但是参数优化器只需要LoRA部分
  • QLoRA微调：加载模型时就4bit量化加载，参数优化器还可以在CPU和GPU之间调度，显存满了可以在内存里跑
    在这里插入图片描述

XTuner介绍

在这里插入图片描述

快速上手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

8GB显卡玩转LLM

动手实战环节

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/344657.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

数据结构:3_栈和队列

数据结构:3_栈和队列

栈和队列 一.栈 1. 栈的概念及结构 栈：一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。**进行数据插入和删除操作的一端称为栈顶，另一端称为栈底。**栈中的数据元素遵守后进先出LIFO（Last In First Out&#x…
阅读更多...
软件测试知识库+1，5款顶级自动化测试工具推荐和使用分析

软件测试知识库+1，5款顶级自动化测试工具推荐和使用分析

“工欲善其事必先利其器”，在自动化测试领域，自动化测试工具的核心地位不容置疑的。目前市面上有很多可以支持接口测试的工具，在网上随便一搜就可以出来很多，利用自动化测试工具进行接口测试，可以很好的提高测试效率&a…
阅读更多...
GPT4+Python近红外光谱数据分析及机器学习与深度学习建模

GPT4+Python近红外光谱数据分析及机器学习与深度学习建模

详情点击链接：GPT4Python近红外光谱数据分析及机器学习与深度学习建模 第一：GPT4 1、ChatGPT（GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变） 2、ChatGPT对话初体验 3、GPT-4与GPT-3.5的区别，以及与国内大语言模…
阅读更多...
最新AI系统ChatGPT网站H5系统源码，支持Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图

最新AI系统ChatGPT网站H5系统源码，支持Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图

一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美，那么如何搭建部署AI创作ChatGPT？小编这里写一个详细图文教程吧。已支持GPT…
阅读更多...
Django笔记（六）：DRF框架

Django笔记（六）：DRF框架

首 前后端分离是互联网应用开发的标准使用方式，让前后端通过接口实现解耦，能够更好的进行开发和维护。 RESTful接口常见规范 在接口设计中，大家遵循一定的规范可以减少很多不必要的麻烦，例如url应有一定辨识度，可以…
阅读更多...
（SSO单点登录）多个系统之间如何实现账号互通

（SSO单点登录）多个系统之间如何实现账号互通

SSO具有以下优点： 降低访问第三方网站风险；降低用户名和密码的管理成本；提高用户试用满意度；SSO使用标准的身份认证和授权协议，如OAuth、OpenID Connect等，可以保障用户身份的安全性和隐私性。 单点登录最大…
阅读更多...
Linux 驱动开发基础知识——认识LED驱动程序 （二）

Linux 驱动开发基础知识——认识LED驱动程序 （二）

个人名片： 🦁作者简介：一名喜欢分享和记录学习的在校大学生 🐯个人主页：妄北y 🐧个人QQ：2061314755 🐻个人邮箱：2061314755qq.com 🦉个人WeChat：V…
阅读更多...
el-select选择之后值不显示在文本框的问题解决

el-select选择之后值不显示在文本框的问题解决

问题场景如下图： 在el-collapse-item中使用子组件，子组件里是el-form-item代码。el-select在for循环中，可以有多个。 查了一下博客，有的说这种场景需要给el-select添加change事件，加上 this.$forceUpdate() 强制刷新即…
阅读更多...
Vue3.0里为什么要用 Proxy API 替代 defineProperty API ？

Vue3.0里为什么要用 Proxy API 替代 defineProperty API ？

文章目录 一、Object.defineProperty二、Proxy三、总结参考文献 一、Object.defineProperty 定义：Object.defineProperty() 方法会直接在一个对象上定义一个新属性，或者修改一个对象的现有属性，并返回此对象 为什么能实现响应式 通过define…
阅读更多...
Kubeadm安装单master多node节点K8S集群

Kubeadm安装单master多node节点K8S集群

kubeadm安装k8s1.25版本集群步骤 环境说明实验环境规划集群搭建规划 初始化安装k8s集群的实验环境安装虚拟机更新yum源和操作系统配置机器主机名配置主机hosts文件，相互之间通过主机名互相访问配置主机之间无密码登录关闭交换分区swap，提升性能修改机器内…
阅读更多...
[algorithm] 自动驾驶 规划 非线性优化学习系列之1 ：车辆横向运动动力学详细解释

[algorithm] 自动驾驶 规划 非线性优化学习系列之1 ：车辆横向运动动力学详细解释

写在前面 最近时空联合规划很火，想学习。由于在学校主打学习新能源电力电子方向，转行后也想好好零散的知识体系。计划从车辆运动动力学习，模型预测控制（经典控制目前看主打应用，不会再去深入），…
阅读更多...
使用js判断list中是否含有某个字符串，存在则删除，

使用js判断list中是否含有某个字符串，存在则删除，

显示上图中使用了两种方式， 左边的是filter将不等于userCode的元素筛选出来组成一个新的list， userCodeList.filter(item> item!userCode)；但是上面这个方法在IE浏览器中不支持， 所以改成了右边的方法，使用splice…
阅读更多...
C#，入门教程(22)——函数的基础知识

C#，入门教程(22)——函数的基础知识

上一篇： C#，入门教程(21)——命名空间（namespace）与程序结构的基础知识https://blog.csdn.net/beijinghorn/article/details/124140653 一、函数的基本概念 一个软件的结构大体如下： 大厦application: a plaza { --…
阅读更多...
01-灵魂一问：智能网联汽车域控SOA如何做？

01-灵魂一问：智能网联汽车域控SOA如何做？

1. 前言 //TODO 2. SOA？微服务？ //TODO 3. 如何设计框架？ 3.1 全面SOA SOA平台化，全面解耦操作系统，将操作系统重新分层 3.2 部分SOA 仅仅将部分涉及车辆相关的SOA服务化，比如automotive service …
阅读更多...
Java带你快速了解单元测试

Java带你快速了解单元测试

一、单元测试 1.1 单元测试快速入门 所谓单元测试，就是针对最小的功能单元，编写测试代码对其进行正确性测试。 我们想想，咱们之前是怎么进行测试的呢？ 比如说我们写了一个学生管理系统，有添加学生、修改学生、删除…
阅读更多...
MySQL基础（一）

MySQL基础（一）

学习数据库的目的： 实现数据持久化到本地。使用完整的管理系统统一管理，可以实现结构化查询，方便管理。 一、数据库概述 数据库（DataBase） 为了方便数据的存储和管理，它将数据按照特定的 规则存储在磁盘…
阅读更多...
成都直播基地应该怎么做？直击西南直播电商行业发展现状

成都直播基地应该怎么做？直击西南直播电商行业发展现状

新蓝图已然绘就，新征程击鼓催征。近年，四川电子商务行业的发展势头日益强劲，为助力成都直播产业的多元化发展，由德商产投与无锋科技联袂打造的中国西部大型全域直播产业基地——天府锋巢直播产业基地落户成都市天府新区。该成都直…
阅读更多...
HTTP与HTTPS的工作流程

HTTP与HTTPS的工作流程

HTTP与HTTPS的工作流程 http知识点回顾1、HTTP访问的过程2、HTTP常见状态码3、HTTP 协议一共五大特点 https的工作流程1、对称加密2、非对称加密3、https工作流程 http知识点回顾 1、HTTP访问的过程 （1）解析url，获取 url 中包含的域名&…
阅读更多...
使用ffmpeg转换索尼老DV拍摄的VOB文件为mp4

使用ffmpeg转换索尼老DV拍摄的VOB文件为mp4

一些背景故事 最近对象想用 CCD 拍照录像，家里刚好有一台快 20 年前的索尼 DV DCR-DVD653E，就是电池老化充不进去电了。 翻出来之后还感慨了一下：当年没有网购，价格不透明；有些地方也没有官方店，只有一两家…
阅读更多...
vivado:关联notepad++

vivado:关联notepad++

网上好多都要下插件，看了野火视频，直接在vivado里面加路径弄好的 2 3（那个fonts and colors也经常用 改字体） 4 5 以下是我的路径 D:/gongjuruanjian/notepad/Notepad/notepad.exe [file name] -n[line number] 把[file name] -…
阅读更多...
最新文章

Copyright @ 2022~2023