MaxCompute x DataWorks × DeepSeek,实现使用自定义数据集微调DeepSeek-R1蒸馏模型

一、整体概要

基于阿里云云原生大数据计算服务MaxCompute以及大数据开发治理平台DataWorks实现使用自定义数据集微调DeepSeek-R1蒸馏模型主要分为两大部分,一部分是基于人工智能平台PAI的微调训练,第二部分是通过如何构建自有数据集,并进行接入,下面我们以MaxCompute+DataWorks+PAI为基础,快速微调DeepSeek-R1蒸馏模型。

二、如何微调DeepSeek

进入人工智能平台PAI控制台,左侧导航栏进入快速开始 > Model Gallery,选择模型。下面我们以DeepSeek-R1-Distill-Qwen-7B为例,进行微调训练。(其他模型微调也可以基于这个流程)

进入 DeepSeek-R1-Distill-Qwen-7B 模型页面后,点击“训练”按钮,核心是基于自有数据集进行模型调优,自有数据集可以选择存在对象存储OSS的数据,也可以选择存在MaxCompute的数据,下面我们以存在MaxCompute的数据的自有数据集为例进行DEMO演示。

训练数据集选择自定义数据集-新建数据集。

存储类型选择云原生大数据计算服务 MaxCompute。

导入MaxCcompute的项目名和表名进行关联,进行挂在路径配置。

然后再选择模型输出路径。

最后选择相应的资源配置,及参数配置,点击“训练”就可以基于自有数据集进行微调了,一起试试吧。

三、如何构建自有数据集,接入DeepSeek进行微调

在人工智能平台PAI上使用自定义数据集,主要需要关联MaxCompute的项目和数据表。首先创建MaxCompute项目:打开MaxCompute控制台,点击左侧导航栏【工作区】-【项目管理】,选择【新建项目】

创建MaxCompute表:打开DataWorks控制台,左侧导航栏选择【数据开发与运维】->【数据开发】,进入数据开发界面,界面左侧导航栏【表管理】新建表,详细建表过程可参考文档。

自定义数据集写入

表结构新建好并提交发布后,您可以使用DataWorks通过数据集成任务、MaxCompute节点任务向MaxCompute表中写入数据,DataWorks深度适配数十种大数据及AI计算引擎进行数据集成,支持自定义数据集的开发与调度。此外,DataWorks还支持通过上传数据功能将本地数据导入MaxCompute表中。当然,也可以使用DataWorks对写入的数据进行二次开发。

四、微调DeepSeek R1 蒸馏模型部署及应用

通过MaxCompute和DataWorks创建完项目和表后,即可开始使用PAI平台开始使用自定义数据集微调DeepSeek-R1蒸馏模型,更多模型微调参考教程可参考人工智能平台 PAI 的部署及应用实践。

部署DeepSeek-V3、DeepSeek-R1模型_人工智能平台 PAI(PAI)-阿里云帮助中

使用PAI一键部署通义千问模型_人工智能平台 PAI(PAI)-阿里云帮助中心

通过EAS一键部署MLLM多模态大语言模型应用_人工智能平台 PAI(PAI)-阿里云帮助中心

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/980509.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

unity大坐标抖动处理测试

第二幅图就是相机坐标是0 6360094 0的地方看见的模型,可以看见这个球体已经烂了 那么这里可以知道的是坐标太大了导致的,那么把所有物体共同偏移一下,即可得到第一幅图的效果,圆润的sphere又回来了 浮点数的计算是需要位数的&…

Sqli-labs

先搭建靶场 一、环境准备 建议采用虚拟机作为靶场环境的承载平台,以实现更灵活、可定制的配置,提高系统资源的利用效率。这种部署方式不仅能够有效隔离实验环境,降低对真实硬件的依赖,还能够快速搭建和复制实验场景,…

ES、OAS、ERP、电子政务、企业信息化(高软35)

系列文章目录 ES、OAS、ERP、电子政务、企业信息化 文章目录 系列文章目录前言一、专家系统(ES)二、办公自动化系统(OAS)三、企业资源规划(ERP)四、典型信息系统架构模型1.政府信息化和电子政务2.企业信息…

miqiu的分布式锁(四):MySQL悲观锁解析

📚miqiu的分布式锁(四):MySQL悲观锁解析 🌟 什么是悲观锁? “先下手为强!”——这就是悲观锁的核心思想。它默认所有操作都可能发生并发冲突,在操作数据前会先加锁,确保…

openEuler环境下GlusterFS分布式存储集群部署指南

1.环境准备: os:openEuler 22.03 主机名 IP地址 主机用途 Rocky8192.168.121.160客户端 open-Euler1192.168.121.150节点1,提供两块6G硬盘open-Euler4192.168.121.153节点2,提供两块6G硬盘open-Euler5192.168.121.154 …

网络空间安全(6)web应用程序技术

前言 Web应用程序技术是指用于开发和构建基于Web的应用程序的技术和工具,涵盖了前端开发、后端开发、数据库管理、安全性等多个方面的技术。 一、前端开发技术 HTML/CSS/JavaScript:HTML用于构建网页结构,CSS用于进行样式设计,Jav…

unity中找不到AI > Navgation

预制体中的Add Component 选中Agent Type -> Open Agent Setting跳出没有安装包的提示后,点击安装

手机打电话时如何识别对方按下的DTMF按键的字符-安卓AI电话机器人

手机打电话时如何识别对方按下的DTMF按键的字符 --安卓AI电话机器人 一、前言 前面的篇章中,使用蓝牙电话拦截手机通话的声音,并对数据加工,这个功能出来也有一段时间了。前段时间有试用的用户咨询说:有没有办法在手机上&#xff…

LVGL -------矩阵3

static void event_cb(lv_event_t * e) { lv_obj_t * obj lv_event_get_target(e); uint32_t id lv_btnmatrix_get_selected_btn(obj); bool prev id 0 ? true : false; bool next id 6 ? true : false; if(prev || next) { /Find the checked button/ uint32_t i; for…

新建菜单项的创建之CmpGetValueListFromCache函数分析

第一部分: PCELL_DATA CmpGetValueListFromCache( IN PHHIVE Hive, IN PCACHED_CHILD_LIST ChildList, OUT BOOLEAN *IndexCached, OUT PHCELL_INDEX ValueListToRelease ) 0: kd> dv KeyControlBlock 0xe1…

大语言模型微调的基本概念介绍

大型语言模型(LLMs)正在以惊人的速度发展,LLM微调的潜力更是如此。大型语言模型的生命周期有几个关键步骤,今天我们将要介绍这个周期中最丰富、最耗时的一部分——LLM微调过程。 大语言模型的生命周期 在深入了解大型语言模型&a…

三次握手内部实现原理

socket()创建一个新的套接字 int socket(int domain, int type, int protocol); 参数: domain:地址族,如 AF_INET(IPv4),AF_INET6(IPv6) type:套接字类型&…

【Mac】git使用再学习

目录 前言 如何使用github建立自己的代码库 第一步:建立本地git与远程github的联系 生成密钥 将密钥加入github 第二步:创建github仓库并clone到本地 第三步:上传文件 常见的git命令 git commit git branch git merge/git rebase …

CSS—text文本、font字体、列表list、表格table、表单input、下拉菜单select

目录 1.文本 2.字体 3.列表list a.无序列表 b.有序列表 c.定义列表 4.表格table a.内容 b.合并单元格 3.表单input a.input标签 b.单选框 c.上传文件 4.下拉菜单 1.文本 属性描述color设置文本颜色。direction指定文本的方向 / 书写方向。letter-spacing设置字符…

【前端基础】1、HTML概述(HTML基本结构)

一、网页组成 HTML:网页的内容CSS:网页的样式JavaScript:网页的功能 二、HTML概述 HTML:全称为超文本标记语言,是一种标记语言。 超文本:文本、声音、图片、视频、表格、链接标记:由许许多多…

Java---入门基础篇(下)---方法与数组

前言 本篇文章主要讲解有关方法与数组的知识点 ,是基础篇的一部分 , 而在下一篇文章我会讲解类和对象的知识点 入门基础篇上的链接给大家放在下面啦 ! Java---入门基础篇(上)-CSDN博客 感谢大家点赞👍🏻收藏⭐评论✍🏻 欢迎各位大佬指点…

论coding能力 new bing 对比 chatgpt

近日需要编程计算每个月的第二个星期二是哪一天,因为那一天需要做一件重要的事情,我想在这个日期做一个提醒,于是把这个重任交给当下最火的AI,微软new bing和chatGPT,实验对比结果如下:微软new bing会给你参…

C语言:51单片机 基础知识

一、单片机概述 单片机的组成及其特点 单片机是指在一块芯片上集成了CPU、ROM、RAM、定时器/计数器和多种I/O接口电路等,具有一定规模的微型计算机。 特点: 1、单片机的存储器以ROM、RAM严格分工。 2、采用面向控制的指令系统。 3、单片机的I/O口引脚通…

【计算机网络入门】初学计算机网络(六)

目录 1.回忆数据链路层作用 2. 组帧 2.1 四种组帧方法 2.1.1 字符计数法 2.1.2 字节填充法 2.1.3 零比特填充法 2.1.4 违规编码法 3. 差错控制 3.1 检错编码 3.1.1 奇偶校验码 3.1.2 CRC(循环冗余校验)校验码 3.2 纠错编码 3.2.1 海明校验码…

Materials Studio MS2020在linux系统上的安装包下载地址 支持centos Ubuntu rocky等系统

下载地址:MS2020-linux官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘 Materials Studio 2020是一款功能强大的材料科学计算模拟软件,以下是其详细介绍: 核心模块功能 CASTEP模块:采用平面波赝势方法,适用于周…