12.实战私有数据微调ChatGLM3

实战私有数据微调ChatGLM3

  • 实战私有数据微调ChatGLM3
    • 实战构造私有的微调数据集
      • 基于 ChatGPT 设计生成训练数据的 Prompt
      • 使用 LangChain + GPT-3.5-Turbo 生成训练数据样例
      • 训练数据解析、数据增强和持久化存储
      • 自动化批量生成训练数据集流水线
      • 提示工程（Prompt Engineering）：强化返回格式，不断测试结果
    • 实战私有数据微调 ChatGLM3
      • 使用 QLoRA 小样本微调 ChatGLM3
      • ChatGLM3 微调前后效果对比

实战私有数据微调ChatGLM3

实战构造私有的微调数据集

典型的训练数据集构造流程
在这里插入图片描述
痛点：流程重复繁杂，效率低

基于 GPT 的训练数据集构造流程
在这里插入图片描述
基于 ChatGPT 设计生成训练数据的 Prompt（以中国哲学领域为例）
在这里插入图片描述

基于 ChatGPT 设计生成训练数据的 Prompt

在这里插入图片描述

使用 LangChain + GPT-3.5-Turbo 生成训练数据样例

在这里插入图片描述

训练数据解析、数据增强和持久化存储

在这里插入图片描述
数据增强：构造多样化的提问方式
在这里插入图片描述
在这里插入图片描述

自动化批量生成训练数据集流水线

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

提示工程（Prompt Engineering）：强化返回格式，不断测试结果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

实战私有数据微调 ChatGLM3

使用 QLoRA 小样本微调 ChatGLM3

在这里插入图片描述

ChatGLM3 微调前后效果对比

在这里插入图片描述

在这里插入图片描述
fixed

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/707125.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

爬虫-模拟登陆博客

爬虫-模拟登陆博客

import requests from bs4 import BeautifulSoupheaders {user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36 } # 登录参数 login_data {log: codetime,pwd: shanbay520,wp-submit: …
阅读更多...
Undertow学习

Undertow学习

Undertow介绍 Undertow是一个用java编写的灵活、高性能的web服务器，提供基于NIO的阻塞和非阻塞API。 Undertow有一个基于组合的体系结构，允许您通过组合小型单用途处理程序来构建web服务器。为您提供了在完整的Java EE servlet 4.0容器或低级别非阻塞处…
阅读更多...
N32G45XVL-STB之移植LVGL(8.4.0)

N32G45XVL-STB之移植LVGL(8.4.0)

目录 概述 1 系统软硬件 1.1 软件版本信息 1.2 ST7796-LCD 1.3 MCU IO与LCD PIN对应关系 2 认识LVGL 2.1 LVGL官网 2.2 下载V8.4.0 3 移植LVGL 3.1 硬件驱动实现 3.2 添加LVGL库文件 3.3 移植和硬件相关的代码 3.3.1 驱动接口相关文件介绍 3.3.2 重新接口函数 3…
阅读更多...
SwiftUI中UIViewRepresentable的使用（UIKit与SwiftUI的桥梁）

SwiftUI中UIViewRepresentable的使用（UIKit与SwiftUI的桥梁）

UIViewRepresentable是一个协议，用于创建一个SwiftUI视图，该视图包装了一个UIKit视图。通过实现UIViewRepresentable协议，我们可以在SwiftUI中使用自定义的UIKit视图，并与SwiftUI进行交互。 实现UIViewRepresentable 创建一个遵…
阅读更多...
Flink任务如何跑起来之 2.算子 StreamOperator

Flink任务如何跑起来之 2.算子 StreamOperator

Flink任务如何跑起来之 2.算子 StreamOperator 前文介绍了Transformation创建过程，大多数情况下通过UDF完成DataStream转换中，生成的Transformation实例中，核心逻辑是封装了SimpleOperatorFactory实例。 UDF场景下，DataStream到…
阅读更多...
机器学习python实践——关于ward聚类分层算法的一些个人心得

机器学习python实践——关于ward聚类分层算法的一些个人心得

最近在利用python跟着参考书进行机器学习相关实践，相关案例用到了ward算法，但是我理论部分用的是周志华老师的《西瓜书》，书上没有写关于ward的相关介绍，所以自己网上查了一堆资料，都很难说清楚ward算法，幸…
阅读更多...
数据分析常用6种分析思路（下）

数据分析常用6种分析思路（下）

作为一名数据分析师，你又没有发现，自己经常碰到一些棘手的问题就没有思路，甚至怀疑自己究竟有没有好好学过分析？ 在上篇文章里，我们讲到了数据分析中的流程、分类、对比三大块，今天，我们继续讲…
阅读更多...
为Nanopi m1交叉编译opencv

为Nanopi m1交叉编译opencv

为Nanopi m1交叉编译opencv 一、下载交叉编译器 根据之前的博客进行 二、下载opencv和必要库 sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-devgit clone https://github.com/opencv/opencv.git cd opencv三、进行编…
阅读更多...
计算机网络实验（15）：基于Socket的网络编程（附JAVA源码.txt）

计算机网络实验（15）：基于Socket的网络编程（附JAVA源码.txt）

一、实验名称 UDP客户服务器即时通信程序 二、实验目的： 掌握基于SOCKET的网络编程方法。 基于JAVA语言，编写一个SOCKET的即时通信小程序 三、实验内容和要求 实验内容： 基于JAVA语言，编写一个SOCKET的即时通信小程序 实…
阅读更多...
docker一些常用命令以及镜像构建完后部署到K8s上

docker一些常用命令以及镜像构建完后部署到K8s上

docker一些常用命令以及镜像构建完后部署到K8s上 1.创建文件夹2.删除文件3.复制现有文件内容到新建文件4.打开某个文件5.查看文件列表6.解压文件（tar格式）7.解压镜像8.查看镜像9.删除镜像10.查看容器11.删除容器12.停止运行容器13.构建镜像14.启动容器15…
阅读更多...
Mongodb在UPDATE操作中使用$push向数组中插入数据

Mongodb在UPDATE操作中使用$push向数组中插入数据

学习mongodb，体会mongodb的每一个使用细节，欢迎阅读威赞的文章。这是威赞发布的第69篇mongodb技术文章，欢迎浏览本专栏威赞发布的其他文章。如果您认为我的文章对您有帮助或者解决您的问题，欢迎在文章下面点个赞，或者关…
阅读更多...
无需破解，基于AI翻译的Poedit翻译小助手PoeditHelper

无需破解，基于AI翻译的Poedit翻译小助手PoeditHelper

背景： 应用在做国际化的时候是一件比较让人头大的事情，需要进行多国语言互译，做国际化的方式有很多，现阶段比较常用的方式是gettext的形式，并输出一个.po文件来做国际化，与之配套的有一款半开源软件叫Poedi…
阅读更多...
【PB案例学习笔记】-21小大写金额转换

【PB案例学习笔记】-21小大写金额转换

写在前面 这是PB案例学习笔记系列文章的第21篇，该系列文章适合具有一定PB基础的读者。 通过一个个由浅入深的编程实战案例学习，提高编程技巧，以保证小伙伴们能应付公司的各种开发需求。 文章中设计到的源码，小凡都上传到了gite…
阅读更多...
晶振的匹配电容的计算

晶振的匹配电容的计算

晶振 等效电路 C0是晶振的静态电容 L1是晶振的等效电感 C1是晶振的等效电容 R1是晶振的等效串联电阻 芯片内部已有反相器和负载电阻 计算公式 参考1 参考2
阅读更多...
Blender骨骼创建

Blender骨骼创建

骨骼系统 建立 使用Shift A添加骨骼或在添加|骨架中添加一段骨骼 骨骼的三种模式 -物体模式：做动画，摆人物pose时在该模式 -编辑模式：进行骨骼搭建（选择一段骨骼，然后按E挤出一段骨骼并进行调整） -姿…
阅读更多...
matlab 任意二维图像转点云

matlab 任意二维图像转点云

目录 一、概述二、代码实现三、结果展示本文由CSDN点云侠原创，原文链接。如果你不是在点云侠的博客中看到该文章，那么此处便是不要脸的爬虫。 一、概述 给定任意一张图片，通过代码操作将图片转成点云。图像中包含大量可用信息，其中必不可少的信息为像素坐标和像素值，将像…
阅读更多...
【乐吾乐2D可视化组态编辑器】导出HTML，下载离线部署包

【乐吾乐2D可视化组态编辑器】导出HTML，下载离线部署包

乐吾乐2D可视化组态编辑器地址：https://2d.le5le.com/ 使用步骤 1. 从“文件”菜单导出HTML 导出为 HTML 需要一定的开发能力，后续不再维护，即将下线，推荐使用 下载离线部署包（html） 2. 解压 3. 下载后端…
阅读更多...
Intellij IDEA开发Android项目打包生成APK

Intellij IDEA开发Android项目打包生成APK

在 IntelliJ IDEA 左上方中选择 “Build” -> “Generate Signed Bundle / APK…”选择“APK”——“Next”——“Create New…”（Password随便填123456即可） “Next”——选择release（APK生成后默认存放在本项目的release文件夹里&#x…
阅读更多...
Leetcode 力扣119. 杨辉三角 II (抖音号：708231408)

Leetcode 力扣119. 杨辉三角 II (抖音号：708231408)

给定一个非负索引 rowIndex，返回「杨辉三角」的第 rowIndex 行。 在「杨辉三角」中，每个数是它左上方和右上方的数的和。 示例 1: 输入: rowIndex 3 输出: [1,3,3,1]示例 2: 输入: rowIndex 0 输出: [1]示例 3: 输入: rowIndex 1 输出: [1,1]提示…
阅读更多...
Cisco Packet Tracer实验（二）

Cisco Packet Tracer实验（二）

二、用交换机构建 LAN 构建物件如下： 四个PC 两个交换机 一个Multi Switch多功能拓展控制器 连线必须是这个直线！！！不是虚线 最后实现效果如下： 全部的线是绿的，就表示是通的。 尝试一下，看PC…
阅读更多...
最新文章

Copyright @ 2022~2023