DeepMind的JEST技术:AI训练速度提升13倍,能效增强10倍,引领绿色AI革命

谷歌旗下的人工智能研究实验室DeepMind发布了一项关于人工智能模型训练的新研究成果,声称其新提出的“联合示例选择”(Joint Example Selection,简称JEST)技术能够极大地提高训练速度和能源效率,相比其他方法,性能提高了13倍,而能源效率则提升了10倍。这一进展对于当前担忧人工智能对电力需求激增可能带来的环境压力而言,无疑是一则潜在的好消息。

JEST技术颠覆了传统的AI训练方式,传统方法通常集中于利用单个数据点进行学习,而JEST则基于数据批次进行训练。具体来说,该方法首先构建一个小型AI模型,用于评估来自高质量数据源的数据质量并进行排序。随后,这个小模型会将高质量数据集的评分与一个较大、质量较低的数据集进行对比,挑选出最适合训练的数据批次。接着,大型模型依据小模型的筛选结果进行训练,从而实现更高效的模型学习。

DeepMind的研究人员强调,JEST成功的关键在于其引导数据选择过程朝向较小且精心策划的数据集分布的能力。实验结果显示,该方法相较于最前沿的模型,如SigLIP,在迭代次数和计算量上分别减少了最多13倍和10倍,显著提升了效率和速度。

然而,JEST方法的成功高度依赖于训练数据的质量。这种方法要求有一个由专家精心策划的高质量初始数据集作为基础,否则“垃圾进,垃圾出”的原则将严重影响其效果。这意味着对于业余爱好者或非专业AI开发者来说,要实现JEST的高效训练将面临更多挑战,因为它需要高级别的研究技能来准备数据集。

在当前背景下,JEST技术的出现正当其时。随着科技行业和各国政府开始讨论人工智能日益增长的巨大能源消耗问题,这一研究显得尤为重要。据统计,2023年AI工作负载消耗了大约4.3GW的电力,几乎相当于塞浦路斯一年的用电量。而未来发展趋势显示,AI能源需求将持续上升,例如单次ChatGPT请求的能耗是谷歌搜索的10倍,Arm公司CEO预测到2030年,AI将占据美国电网四分之一的电力。

至于JEST技术是否会被AI领域的大型企业采纳,以及如何采纳,目前尚待观察。考虑到训练大型模型如GPT-4的成本已高达1亿美元,未来规模更大的模型训练成本或将突破十亿美元大关,因此企业迫切需要寻找节省成本的方法。乐观人士希望JEST技术能够帮助维持现有的训练效率,同时大幅降低能耗,减轻AI成本并有利于环境保护。然而,现实可能是资本驱动下,企业利用JEST技术维持高能耗下的超高速训练产出,成本节约与产出规模之间的平衡将是一个复杂博弈。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/785777.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【北京迅为】《i.MX8MM嵌入式Linux开发指南》-第一篇 嵌入式Linux入门篇-第十一章 Linux 帮助手册

i.MX8MM处理器采用了先进的14LPCFinFET工艺,提供更快的速度和更高的电源效率;四核Cortex-A53,单核Cortex-M4,多达五个内核 ,主频高达1.8GHz,2G DDR4内存、8G EMMC存储。千兆工业级以太网、MIPI-DSI、USB HOST、WIFI/BT…

机器学习笔记:初始化0的问题

1 前言 假设我们有这样的两个模型: 第一个是逻辑回归 第二个是神经网络 他们的损失函数都是交叉熵 sigmoid函数的导数: 他们能不能用0初始化呢? 2 逻辑回归 2.1 求偏导 2.1.1 结论 2.1.2 L对a的偏导 2.1.3 对w1,w2求偏导 w2同…

Springboot整合Jsch-Sftp

背景 开发一个基于jsch的sftp工具类&#xff0c;方便在以后的项目中使用。写代码的过程记录下来&#xff0c;作为备忘录。。。 Maven依赖 springboot依赖 <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-par…

《Windows API每日一练》8.5 listbox控件

列表框是将一批文本字符串显示在一个具有滚动功能的方框中的控件。通过发送消息到列表框的窗口过程&#xff0c;程序可以添加或删除列表中的字符串。当列表框中的一个项目被选中时&#xff0c;列表框控件便发送 WM_COMMAND消息到其父窗口。然后父窗口确定哪个项目被选中。 本节…

镭速助力全球高速传输,实现点对点高效传输打破时差壁垒!

在当今全球化的背景下&#xff0c;跨国界的文件协作已成为许多跨国企业日常工作的一部分。但是&#xff0c;时差和网络不稳定等因素常常影响团队间的有效交流与合作。特别是在大文件传输环节&#xff0c;传统的在线传输方法在接收方离线或网络条件不佳时显得力不从心&#xff0…

关于原型和原型链的学习和实践

在前端面试中&#xff0c;原型和原型链始终是一个避不开的问题&#xff0c;今天就弄明白! 原型和原型链 对象的创建方式工厂模式构造函数模式原型模式 原型和原型链实践 对象的创建方式 原型和原型链都是关于对象的内容&#xff0c;先来看一下JavaScript中对象的构建方式。 工…

什么是C#

C#是一种面向对象的语言与c语言不同 C语言是面向过程的编程 C#运行于.NETFramework和.NETCore之上的高级语言 C#是由C和C衍生而来的一种语言 在C#中不建议使用指针 什么叫面向对象 是一种编程范式&#xff0c;它将现实世界中的事物抽象为对象&#xff0c;并通过对象之间的…

深度学习的数学PDF

链接: https://pan.baidu.com/s/1_jScZ7dcyAWGqbrad6bbCQ?pwd9gj9 提取码: 9gj9 复制这段内容后打开百度网盘手机App&#xff0c;操作更方便哦

【计算机网络仿真】b站湖科大教书匠思科Packet Tracer——实验17 开放最短路径优先OSPF

一、实验目的 1.验证OSPF协议的作用&#xff1b; 二、实验要求 1.使用Cisco Packet Tracer仿真平台&#xff1b; 2.观看B站湖科大教书匠仿真实验视频&#xff0c;完成对应实验。 三、实验内容 1.构建网络拓扑&#xff1b; 2.验证OSPF协议的作用。 四、实验步骤 1.构建网…

SpringCloud跨微服务的远程调用,如何发起网络请求,RestTemplate

在我们的业务流程之中不一定都会是自己模块查询自己模块的信息&#xff0c;有些时候就需要去结合其他模块的信息来进行一些查询完成相应的业务流程&#xff0c;但是在SpringCloud每个模块都相对独立&#xff0c;数据库也有数据隔离。所以当我们需要其他微服务模块的信息的时候&…

NuGet 中国国内镜像

有时候网络不好&#xff0c;需要使用国内的一些镜像源。 华为资源&#xff1a; https://repo.huaweicloud.com/repository/nuget/v3/index.json 腾讯资源&#xff1a; https://mirrors.cloud.tencent.com/nuget/ 微软中国镜像源&#xff1a;https://nuget.cdn.azure.cn/v3…

BIOTIN-Gly-Asp-Gly-Asp-Glu-Val-Asp-Gly-Cys 生物素标记多肽

BIOTIN-Gly-Asp-Gly-Asp-Glu-Val-Asp-Gly-Cys 生物素标记多肽 生物素标记多肽的特点 高亲和力结合&#xff1a;生物素与链霉亲和素&#xff08;streptavidin&#xff09;或抗生物素蛋白&#xff08;avidin&#xff09;之间的结合是生物学上已知的最强的非共价相互作用之一。这种…

大模型知识大全2-资源【大模型】

文章目录 可用的模型部分模型的训练规模和数据常用数据集外文中文书籍和论文百科数据代码混合数据集微调数据集对齐数据集 可用的模型 仅记录中文可用的表现较优的模型LLaMA、LLaMA2、LLaMA3&#xff08;规模在7,13,30,65左右&#xff0c;需要搭配ChineseLLaMA的LoRA权重使用&…

Mybatis操作和动态SQL

Mybatis操作 准备 准备数据库表 emp 创建一个新的 springboot 工程&#xff0c;选择引入对应的起步依赖&#xff08; mybatis 、 mysql 驱动、 lombok &#xff09; application.properties 中引入数据库连接信息 spring.datasource.driver-class-namecom.mysql.cj.jdbc.Driv…

关于Linux的操作作业!24道题

&#x1f3c6;本文收录于「Bug调优」专栏&#xff0c;主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&收藏&&…

文章SameStr(四):图4代码

“Publication Figure 4” 百度云盘链接: https://pan.baidu.com/s/15g7caZp354zIWktpnWzWhQ 提取码: 4sh7 Libraries Standard Import library(tidyverse) library(cowplot) library(scales) library(ggpubr)Special library(caret) library(plotROC) library(tidymodel…

To美术-渲染管线及优化方向(CPU方向)

一、CPU与GPU 1、CPU与GPU的区别 橙黄色&#xff1a;控制单元   橙红色&#xff1a;存储单元  绿色&#xff1a;计算单元 CPU:结构组成复杂、控制逻辑丰富&#xff0c;计算量小&#xff0c;适合复杂运算 GPU&#xff1a;结构组成简单&#xff0c;核心数量多&#xff0c;计…

jmeter-beanshell学习5-beanshell加减乘除运算

我用到的场景是计算金额&#xff0c;所以主要以金额为主&#xff0c;感觉这部分有点麻烦&#xff0c;直接写遇到的几个坑&#xff0c;就不演示解决的过程了。 1.最早写了个两数相减&#xff0c;但是小数精度容易出现问题。比如1-0.010.989999997这种情况&#xff0c;随便写的几…

Windows 电脑查看 WiFi 密码的方法都有哪些?

从设置面板中查看 当你使用的是笔记本电脑并且连接 WiFi 之后可以在设置面板中查看 WiFi 密码&#xff0c;首先打开设置界面&#xff0c;然后点击网络和 Internet&#xff0c;找到 WiFi 之后点击进入&#xff0c;然后点击管理已知网络。 然后点击已经连接好的无线网络。 进入之…

前端Din字体和造字工房力黑字体文件

Din 字体是一种经典的、简洁的无衬线字体&#xff0c;它源自1930年代的德国交通标志设计。 造字工房力黑字体适用于数字&#xff0c;驾驶舱标题等统计界面 DIN-Medium.otf 案例 造字工房力黑.TTF 案例