大模型的常用指令格式 --＞ ShareGPT 和 Alpaca (以 llama-factory 里的设置为例)

  1. ShareGPT 格式
    提出背景：ShareGPT 格式起初来自于用户在社交平台上分享与聊天模型的对话记录，这些记录涵盖了丰富的多轮对话内容。研究者们意识到，这类真实的对话数据可以帮助模型更好地学习多轮对话的上下文保持、回应生成等能力。因此，ShareGPT 格式逐渐被用于多轮对话的指令微调。
    目标：帮助模型理解复杂的多轮交互，提升模型的对话连贯性、上下文一致性和信息检索能力。
    主要应用：ShareGPT 格式应用于需要模拟自然对话流的场景，例如聊天机器人、客服问答、陪伴式 AI 助手等。其设计结构支持用户与助手之间交替对话的记录，适合训练多轮对话模型。
  2. Alpaca 格式
    提出背景：Alpaca 格式由斯坦福大学的研究人员在 2023 年提出，他们旨在通过一种低成本的方式对大型语言模型进行指令微调。Alpaca 项目使用 OpenAI 的 GPT-3.5 模型生成了大量指令数据，并采用简化的格式——instruction、input 和 output 字段——来表述单轮任务。这个结构化的指令-响应格式使模型可以专注于对特定任务的理解。
    目标：Alpaca 格式的设计重点在于让模型理解明确的任务指令，以便模型在接到特定任务时能生成更精确的响应。
    主要应用：Alpaca 格式被广泛应用于以任务为导向的指令微调任务中，尤其适合单轮任务（如总结、翻译、问答等），并不依赖多轮对话上下文，结构简洁且任务导向清晰。
    总结
    ShareGPT：适用于多轮对话微调，背景是对多轮自然对话数据的需求。
    Alpaca：适用于单轮指令微调，背景是低成本的指令微调需求，通过简单的指令-响应结构实现任务定向训练。

dataset_info.json 包含了所有经过处理的 本地数据集 和 在线数据集。如果使用本地数据集， 务必在 dataset_info.json 中添加对应数据集及其内容的定义

目前支持 Alpaca 格式 和 ShareGPT 的格式

1.Alpaca

针对不同任务，数据集格式要求如下：

  • 指令监督微调
  • 预训练
  • 偏好训练
  • KTO
  • 多模态

1.指令监督微调

  1. 样例如下

    在这里插入图片描述

  2. 解释

    1. instruction 对应的内容是人类指令

    2. input 对应内容是人类输入

    3. output 对应内容是模型回答

      在进行指令监督微调时， instruction 列的内容会与 input 列对应内容拼接后作为最终人类的输入，即人类输入为 instruction\ninput。而 output 为模型回答

    4. 如果指定 system 列，对应内容将被作为系统提示词

    5. history 列是由多个字符串二元组构成的列表，分别代表历史消息中每轮对话的指令和回答。注意，在指令监督微调时，历史消息中的回答内容也会被用于模型学习

  3. 最终指令微调的格式要求如下

    [
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "system": "系统提示词（选填）",
    "history": [
      ["第一轮指令（选填）", "第一轮回答（选填）"],
      ["第二轮指令（选填）", "第二轮回答（选填）"]
    ]
  }
]

    • 样例如下

      [
  {
    "instruction": "今天的天气怎么样？",
    "input": "",
    "output": "今天的天气不错，是晴天。",
    "history": [
      [
        "今天会下雨吗？",
        "今天不会下雨，是个好天气。"
      ],
      [
        "今天适合出去玩吗？",
        "非常适合，空气质量很好。"
      ]
    ]
  }
]

  4. 对于上述的数据，dataset_info.json 的数据集描述应为

    "数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "system": "system",
    "history": "history"
  }
}

2.预训练数据

  1. 样例如下

    在这里插入图片描述

  2. 大语言模型通过学习未被标记的文本进行预训练，从而学习语言的表征。通常，预训练数据集从互联网上获得，因为互联网上提供了大量的不同领域的文本信息，有助于提升模型的泛化能力。 预训练数据集文本描述格式如下：

    [
  {"text": "document"},
  {"text": "document"}
]

  3. 在预训练的时候，只有 text 列中的内容(document)会用于模型学习

  4. 对于上述数据，dataset_info.json 的数据集描述为

    "数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "text"
  }
}

3.偏好数据集

偏好数据集用于奖励模型训练、DPO训练 和 ORPO 训练。对于系统指令和人类输入，偏好数据集给出了一个更优的回答和一个更差的回答。

一些研究 表明通过让模型学习“什么更好”可以使得模型更加迎合人类的需求。 甚至可以使得参数相对较少的模型的表现优于参数更多的模型。

  1. 偏好数据集需要在 chosen 列中提供更优的回答，并在 rejected 中提供更差的回答，在一轮问答中，格式如下

    [
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "chosen": "优质回答（必填）",
    "rejected": "劣质回答（必填）"
  }
]

  2. dataset_info.json 的数据集描述为：

    "数据集名称": {
  "file_name": "data.json",
  "ranking": true,
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "chosen": "chosen",
    "rejected": "rejected"
  }
}

DPO（Direct Preference Optimization）和 ORPO（Off-Policy Preference Optimization）是两种用于偏好优化的训练方法，主要用于提升语言模型对用户偏好的响应能力。它们在强化学习（RLHF, Reinforcement Learning with Human Feedback）框架下使用。

1. DPO（Direct Preference Optimization）:

  • 目标: 直接通过用户反馈优化模型输出的偏好，使模型更加符合用户的选择。
  • 方法: 不使用强化学习的奖励建模，而是直接在训练数据中根据人类偏好来优化。通过给定两种生成结果，用户给出偏好，模型学习去优化自己生成更符合偏好的结果。
  • 优点: 不依赖复杂的奖励函数设计，直接根据人类偏好进行优化，训练过程简单且高效。
  • 适用场景: 适合场景是有明确的偏好数据并且希望快速迭代和调整模型的偏好输出。

2. ORPO（Off-Policy Preference Optimization）:

  • 目标: 在偏离当前策略的数据上，使用偏好信息优化模型，使其在长期上更加符合用户的期望。
  • 方法: 利用“离线”策略的偏好反馈，通过基于强化学习的优化手段来调整模型。 ORPO 使用先前收集的数据进行优化，而不需要像 DPO 那样直接使用偏好进行梯度优化。它与 DPO 不同的是，模型可以在已经采集好的数据上进行偏好训练，不需要实时获取偏好反馈。
  • 优点: 更适合在大规模历史数据上进行训练，训练更为稳健，可以更好地处理复杂的偏好优化问题。
  • 适用场景: 适合有大量历史偏好数据的情况，尤其是难以获取实时偏好反馈的场景。

两者主要区别在于：

  • DPO 是一种直接基于偏好梯度进行优化的策略，而 ORPO 通过强化学习的方式，在离线数据上进行优化。

4.KTO 数据集

KTO 数据集与偏好数据集类似，但不同于给出一个更优的回答和一个更差的回答，KTO 数据集对每一轮问答只给出一个 true/false 的 label。除了 instruction 以及 input 组成的人类最终输入和模型回答 output，KTO 数据集还需要一个额外的 kto_tag 列(true/false) 来表示人类反馈

  1. 一轮问答中的格式如下

    [
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "kto_tag": "人类反馈 [true/false]（必填）"
  }
]

  2. dataset_info.json

    "数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "kto_tag": "kto_tag"
  }
}

KTO 在这里指的是 “Knowledge Transfer Optimization”（知识迁移优化）相关的数据集。它用于优化模型在知识迁移过程中的能力，特别是在人机交互场景中，评估模型生成的答案是否符合人类的预期。

主要内容：

KTO 数据集不仅包含模型的生成结果，还包括人类的反馈，用来优化模型的响应能力。这种数据集设计类似于偏好优化数据集（Preference Optimization），但区别在于，KTO 不是让人类对两种回答进行排序，而是对每一轮问答通过 true/false 的标签直接评估模型的回答是否合格。

数据集结构：

  • Instruction: 人类的指令或提问。
  • Input: 人类最终的输入内容。
  • Output: 模型生成的回答。
  • kto_tag: 人类反馈（true/false），用于标注该模型的回答是否符合预期。

应用场景：

KTO 数据集特别适合用于模型优化，尤其是在模型需要从训练数据中学习如何更好地回应人类问题时。通过这种数据集，模型能够更高效地识别正确的反馈模式，从而提升在实际应用中的表现。这类数据集常用于大语言模型的强化学习阶段，用来替代复杂的奖励建模过程。

5.多模态数据集

多模态数据集需要额外添加一个 images 列，包含输入图像的路径。目前仅支持单张图像输入。

[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "images": [
      "图像路径（必填）"
    ]
  }
]

dataset_info.json 描述为

"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "images": "images"
  }
}

2.ShareGPT 格式

Note：

  • ShareGPT 格式中的 KTO数据集(样例)和多模态数据集(样例) 与 Alpaca 格式的类似。
  • 预训练数据集不支持 ShareGPT 格式。

1.指令监督微调数据集

与 alpaca 格式相比，sharegpt 格式支持更多的角色种类，如 human、gpt、observation、function 等。他们构成一个对象列表呈现在 conversations 列中。

样例如下：

{
  "conversations": [
    {
      "from": "human",
      "value": "你好，我出生于1990年5月15日。你能告诉我我今天几岁了吗？"
    },
    {
      "from": "function_call",
      "value": "{\"name\": \"calculate_age\", \"arguments\": {\"birthdate\": \"1990-05-15\"}}"
    },
    {
      "from": "observation",
      "value": "{\"age\": 31}"
    },
    {
      "from": "gpt",
      "value": "根据我的计算，你今天31岁了。"
    }
  ],
  "tools": "[{\"name\": \"calculate_age\", \"description\": \"根据出生日期计算年龄\", \"parameters\": {\"type\": \"object\", \"properties\": {\"birthdate\": {\"type\": \"string\", \"description\": \"出生日期以YYYY-MM-DD格式表示\"}}, \"required\": [\"birthdate\"]}}]"
}

Note：
human 和 observation 必须出现在奇数位置，gpt 和 function 必须出现在偶数位置

dataset_info.json 描述为

"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "conversations",
    "system": "system",
    "tools": "tools"
  }
}

2.偏好数据集

与 alpaca 类似

{
  "conversations": [
    {
      "from": "human",
      "value": "老虎会吃哪一个，草还是树叶？"
    }
  ],
  "chosen": {
    "from": "gpt",
    "value": "我很高兴能帮助你解答问题！不过，我必须指出，这个问题本身可能没有意义。老虎是食肉动物，通常不吃草或树叶。它们的饮食主要包括大型有蹄动物、小型哺乳动物和鸟类。\n\n如果你提出这个问题是出于好奇或有特定原因，我很乐意帮助你找到更多关于老虎饮食习惯的信息，或者建议资源让你更多了解这些壮丽的生物。请告诉我如何进一步协助你！"
  },
  "rejected": {
    "from": "gpt",
    "value": "一只老虎是食肉动物，这意味着它的饮食主要是肉类。老虎主要猎捕和吃其他动物，如鹿和野猪。它们不会选择吃草或树叶，因为这些不是它们自然饮食的一部分。"
  }
}

格式如下

[
  {
    "conversations": [
      {
        "from": "human",
        "value": "人类指令"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      },
      {
        "from": "human",
        "value": "人类指令"
      }
    ],
    "chosen": {
      "from": "gpt",
      "value": "优质回答"
    },
    "rejected": {
      "from": "gpt",
      "value": "劣质回答"
    }
  }
]

dataset_info.json 的描述为

"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "ranking": true,
  "columns": {
    "messages": "conversations",
    "chosen": "chosen",
    "rejected": "rejected"
  }
}

3.OpenAI 格式

OpenAI 格式仅仅是 sharegpt 格式的一种特殊情况，其中第一条消息可能是系统提示词

[
  {
    "messages": [
      {
        "role": "system",
        "content": "系统提示词（选填）"
      },
      {
        "role": "user",
        "content": "人类指令"
      },
      {
        "role": "assistant",
        "content": "模型回答"
      }
    ]
  }
]

dataset_info.json

"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "messages"
  },
  "tags": {
    "role_tag": "role",
    "content_tag": "content",
    "user_tag": "user",
    "assistant_tag": "assistant",
    "system_tag": "system"
  }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/908374.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

AI问答：Google Authenticator(谷歌动态口令) / 设置及操作过程记录

AI问答：Google Authenticator(谷歌动态口令) / 设置及操作过程记录

Google Authenticator，即谷歌身份验证器，是谷歌推出的一款基于时间的一次性密码（Time-based One-time Password，简称TOTP）验证工具。以下是关于Google Authenticator验证的详细解释。 一、工作原理 Google Authentic…
阅读更多...
PD虚拟机问题：“无法连接到 Parallels 服务” 解决方法

PD虚拟机问题：“无法连接到 Parallels 服务” 解决方法

在使用Parallels Desktop 虚拟机的时候，启动时出现以下错误消息： a. Parallels Desktop 无法启动 b. 无法连接至 Parallels服务 c. 在该虚拟机中没有安装操作系统 遇到以上3种问题怎么解决呢？可能的原因如下： 过时的 macO…
阅读更多...
干掉复杂的工具类，Hutool 工具库确实香！

干掉复杂的工具类，Hutool 工具库确实香！

Hutool 是一个超全的 Java 工具库，深受国内开发者的喜爱。目前确实是成为了国内使用最广的工具库之一了， Gitee 上的 Star 数也到了 23k 。最近新版本有所改动，这里分享一下最新版本的介绍。 一、Hutool简介 Hutool 真心是一个不错的国产 J…
阅读更多...
Rust 力扣 - 2461. 长度为 K 子数组中的最大和

Rust 力扣 - 2461. 长度为 K 子数组中的最大和

文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 我们遍历长度为k的窗口，用一个哈希表记录窗口内的所有元素（用来对窗口内元素去重），我们取哈希表中元素数量等于k的窗口总和的最大值 题解代码 use std::collecti…
阅读更多...
LeetCode 684.冗余连接：拓扑排序+哈希表（O(n)） 或 并查集（O(nlog n)-O(nα(n))）

LeetCode 684.冗余连接：拓扑排序+哈希表（O(n)） 或 并查集（O(nlog n)-O(nα(n))）

【LetMeFly】684.冗余连接：拓扑排序哈希表（O(n)） 或 并查集（O(nlog n)-O(nα(n))） 力扣题目链接：https://leetcode.cn/problems/redundant-connection/ 树可以看成是一个连通且 无环 的 无向 图。 给定往…
阅读更多...
数字IC后端实现之Innovus Place跑完density爆涨案例分析

数字IC后端实现之Innovus Place跑完density爆涨案例分析

下图所示为咱们社区a7core后端训练营学员的floorplan。 数字IC后端实现 | Innovus各个阶段常用命令汇总 该学员跑placement前density是59.467%，但跑完place后density飙升到87.68%。 仔细查看place过程中的log就可以发现Density一路飙升！ 数字IC后端物…
阅读更多...
项目管理软件：5款甘特图工具测评

项目管理软件：5款甘特图工具测评

在项目管理中，甘特图作为一种直观且高效的任务进度展示工具，被广泛应用于各个行业。以下是几款功能强大、易于使用的甘特图工具，它们能够帮助项目经理更好地规划、跟踪和管理项目进度。 1、进度猫 进度猫是国内项目管理新秀，是…
阅读更多...
MYSQL 真实高并发下的死锁

MYSQL 真实高并发下的死锁

https://pan.baidu.com/s/1nM3VQdbkNZhnK-wWboEYxA?pwdvwu6 下面是风控更新语句 ------------------------ LATEST DETECTED DEADLOCK ------------------------ 2023-08-04 01:00:10 140188779017984 *** (1) TRANSACTION: TRANSACTION 895271870, ACTIVE 0 sec starting …
阅读更多...
CTFshow之信息收集第11关到20关。详细讲解

CTFshow之信息收集第11关到20关。详细讲解

得而不惜就该 --小阁老 新篇章的接续！ 一、实验准备 1、ctf网站：ctf.show 2、工具：chrome浏览器、hackbar插件 3、burpsuite抓包工具 二、实验技巧 （一）域名与子域名的dns解析记录 （二&#xff09…
阅读更多...
【论文复现】语言模型中的多模态链式推理

【论文复现】语言模型中的多模态链式推理

📕作者简介：热爱跑步的恒川，致力于C/C、Java、Python等多编程语言，热爱跑步，喜爱音乐、摄影的一位博主。 📗本文收录于论文复现系列，大家有兴趣的可以看一看 📘相关专栏C语言初阶、C…
阅读更多...
Docker：网络 Network

Docker：网络 Network

Docker：网络 Network Docker 网络架构CNMLibnetwork驱动网络类型 命令docker network lsdocker network inspectdocker network createdocker network connectdocker network disconnectdocker network prunedocker network rm 网络操作bridgehostcontainernone Doc…
阅读更多...
局部敏感哈希(LSH)简介

局部敏感哈希(LSH)简介

0. Intro \textbf{0. Intro} 0. Intro 1️⃣ LSH \text{LSH} LSH的优势：在 λ \lambda{} λ较大的度量空间，也可以高效回答 c-ANN \text{c-ANN} c-ANN查询问题 2️⃣一些预备知识 多重集并集 (multi-set union): \text{(multi-set union): } (multi-set…
阅读更多...
论文 | Evaluating the Robustness of Discrete Prompts

论文 | Evaluating the Robustness of Discrete Prompts

论文《Evaluating the Robustness of Discrete Prompts》深入探讨了离散提示（Discrete Prompts）的鲁棒性，即离散提示在自然语言处理任务中面对不同扰动时的表现。研究特别关注离散提示在自然语言推理（NLI）任务中的表现…
阅读更多...
Linux 之 信号概念、进程、进程间通信、线程、线程同步

Linux 之 信号概念、进程、进程间通信、线程、线程同步

学习任务： 1、 信号：信号的分类、进程对信号的处理、向进程发送信号、信号掩码 2、 进程：进程与程序的概念、进程的内存布局、进程的虚拟地址空间、fork创建子进程、wait监视子进程 3、 学习进程间通信（管道和FIFO、信号、消息队列…
阅读更多...
Vue：模板 MVVM

Vue：模板 MVVM

Vue：模板 & MVVM 模板插值语法指令语法 MVVMdefineProperty数据代理 模板 Vue实例绑定一个容器，想要向容器中填入动态的值，就需要使用模板语法。模板语法分为插值语法和指令语法。 插值语法 插值语法很简单，使用{{}}包含一…
阅读更多...
C++中的继承——第二篇

C++中的继承——第二篇

一、继承与友元 友元关系不能够继承（就像父亲的朋友不一定是自己的朋友） 具体实现起来就是父类的友元可以访问父类的成员，但是不可以访问子类的成员 二、继承与静态成员 子类的静态成员变量本质上与父类的是同一份，存储在静态…
阅读更多...
uni-app发起请求以及请求封装，上传及下载功能（六）

uni-app发起请求以及请求封装，上传及下载功能（六）

文章目录 一、发起网络请求1.使用及封装2. https 请求配置自签名证书3.拦截器 二、上传下载1.上传 uni.uploadFile(OBJECT)2. 下载 uni.downloadFile(OBJECT) 一、发起网络请求 uni-app中内置的uni.request()已经很强大了，简单且好用。为了让其更好用，同…
阅读更多...
SLAM定位总结

SLAM定位总结

文章目录 一、激光定位1.A-LOAM （2018）2.F-LOAM （2021）3.CT-ICP （2022）3.DLO:Fast Localization with Dense Point Clouds （2022）4.kiss-ICP :In Defense of Point-to-Point ICP Sim…
阅读更多...
大端存储和小端存储

大端存储和小端存储

大端存储和小端存储 在计算机系统中，数据在内存中的存储方式并不是唯一的。对于多字节的数据类型（如 int、float 等），计算机可以以不同的方式在内存中存储它们。这些存储方式通常分为两种：大端存储（Big-En…
阅读更多...
【数据结构二叉树】C非递归算法实现二叉树的先序、中序、后序遍历

【数据结构二叉树】C非递归算法实现二叉树的先序、中序、后序遍历

引言: 遍历二叉树：指按某条搜索路径巡访二叉树中每个结点，使得每个结点均被访问一次，而且仅被访问一次。 除了层次遍历外，二叉树有三个重要的遍历方法：先序遍历、中序遍历、后序遍历。 1、递归算法实现先序、中序、后…
阅读更多...
最新文章

Copyright @ 2022~2023