大模型市场爆发式增长,但生成式AI成功的关键是什么?

进入2024年,大模型市场正在爆发式增长。根据相关媒体的总结,2024年1-4 月被统计到的大模型相关中标金额已经达到2023年全部中标项目披露金额的77%左右;其中,从项目数量来看,应用类占63%、算力类占21%、大模型类占13%、数据类占4%,而从金额看则是算力类占62.5%、应用类占37.2%,而大模型和数据类项目金融几乎可以忽略不计。

换言之,当前中国的大模型市场正在爆发,但主要的采购资金都投向了算力和应用,而数据类的项目采购资金接近于零。在2024年4月底的一场亚马逊云科技交流活动中,亚马逊云科技大中华区产品部总经理陈晓建强调,“企业需要的是懂业务、懂用户的生成式AI应用,而打造这样的应用需要从数据做起。”

自从整个市场卷起生成式AI浪潮后,亚马逊云科技作为全球第一大云厂商,与很多客户展开了大模型与生成式AI的合作,特别是将生成式AI用于生产业务中。通过深入生成式AI实践,亚马逊云科技的团队发现大模型并不是全部,真正想要发挥大模型的业务价值,数据是一个很重要能力——基础模型依赖于大规模高质量数据集,生成式AI的差异化优势来源于企业专有数据,生成式AI应用产生的大量新数据也需要及时有效地加以管理和利用。

首先,生成式AI基础模型微调和预训练需要将海量的多样化原始数据转化为高质量的大数据集,这对数据存储、清洗和治理提出了严峻挑战。Amazon S3、文件存储服务Amazon FSx for Lustre、Amazon EMR Serverless和Amazon Glue、Amazon DataZone等亚马逊云科技的数据服务,解决了从原始数据集到基础模型训练的数据存储、清洗和治理等三大挑战,构成了第一项关键的数据能力。

其次,生成式AI基础模型的局限性之一在于无法及时拥有企业专有数据,因此通过技术手段加速数据与模型的结合就是第二项关键的数据能力。检索增强生成(Retrieval-Augmented Generation,RAG)通过将数据转换为向量并存储到向量数据库中,将语义的关联性转化为向量间的数学距离问题,以实现内容的关联性计算。

亚马逊云科技已经在八种数据存储中添加了向量搜索功能,为生成式AI应用提供更高的灵活性。例如,亚马逊云科技专门构建了图数据库Amazon Neptune,并为其推出了分析数据库引擎,能够提升80倍的图数据分析速度,使用内置算法可在几秒钟分析数百亿个连接,通过将图和向量数据一起存储能够实现更快的向量搜索。

第三,生成式AI应用对基础模型的频繁调用,将导致成本的增加和响应的延迟,因此处理生成式AI应用新生成的数据、提升模型调用效率,是第三项关键的数据能力。Amazon Memory DB、Amazon OpenSearch Serverless等可有效帮助企业建立这方面的数据能力。

Amazon Music就通过Amazon OpenSearch将1亿首歌曲编码成向量并进行索引,为全球用户提供实时音乐推荐,Amazon Music目前在Amazon OpenSearch中管理着10.5亿个向量,能够处理每秒高达7,100次的查询峰值,有效支撑其推荐系统。

亚马逊云科技大中华区产品部总经理陈晓建表示:“亚马逊云科技构建数据基座的三大核心能力,涵盖从基础模型训练到生成式AI应用构建的重要场景,能够帮助企业轻松应对海量多模态数据,提升基础模型能力。亚马逊云科技正在帮助各个行业、各种规模的企业打造强健的数据基座,在确保用户业务和数据安全的前提下,将数据的独特价值赋予基础模型和生成式AI应用,加速企业业务增长。”

当前,中国大模型市场的采购主体是算力和应用,对于数据服务的采购接近于零,这为大模型和生成式AI的真正落地以及发挥实效带来了挑战。亚马逊云科技提出的生成式AI成功的三大关键数据能力,值得引起市场中大模型项目采购方的重视。相信在不久的未来,“无数据、不模型”将成为整个大模型与生成式AI市场的主旋律。(文/宁川)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/602200.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

OpenCV 入门(六) —— Android 下的人脸识别

OpenCV 入门系列: OpenCV 入门(一)—— OpenCV 基础 OpenCV 入门(二)—— 车牌定位 OpenCV 入门(三)—— 车牌筛选 OpenCV 入门(四)—— 车牌号识别 OpenCV 入门&#xf…

如何查看打包后的jar包启动方法

背景 有时候我们在引用一个jar包的时候,想查看一个jar包的结构,这时候查看启动类就比较重要,因为一些关键配置是在启动类上的,这里教大家如何查看这个启动类(springboot项目) 步骤 首先打开jar包预览结构,可以使用解压缩工具直接双击打开或者预览结构 打开路径 META-INF/MA…

遥感+大数据为智慧无人农场按下“倍速键”

春回大地万象“耕”新,在襄阳市襄州区张家集镇近2000亩小麦绿意盎然、勃勃生机。 湖北绿神农业科技有限公司的生产经理王真指着监控室的电脑屏幕,告诉记者在与珈和科技合作开发的农田遥感监测平台上各类农田数据一目了然,为实现农业智能化管理…

TriCore User Manual 笔记 1

说明 本文是 英飞凌 架构文档 TriCore TC162P core archiecture Volume 1 of 2 (infineon.com) 的笔记,稍作整理方便查阅,错误之处,还请指正,谢谢 :) 1. Architecture 2. General Purpose & System Register 名词列表&#…

记录一个RSA加密js逆向

network调试就不说了吧 pwd加密参数 搜索pwd参数定位逆向 可以看到有很多关键词 但是我们细心的朋友会发现加密函数关键字 encrypte 打上断点 调试 发现在断点处停止了 并且框选函数发现了一串加密值 虽然不一样但是大概率是这个 并且没你每次放置移开都会刷新 所以如果这个就是…

正点原子[第二期]Linux之ARM(MX6U)裸机篇学习笔记-14-主频和时钟配置

前言: 本文是根据哔哩哔哩网站上“正点原子[第二期]Linux之ARM(MX6U)裸机篇”视频的学习笔记,在这里会记录下正点原子 I.MX6ULL 开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了正点原子教学视频和链接中的内容。…

2024上半年软考新规,对高级论文科目不太友好

辽宁省发布了《关于2024年上半年计算机技术与软件专业技术资格(水平)考试批次安排的通知》,通知原文如下: 添加图片注释,不超过 140 字(可选) 添加图片注释,不超过 140 字(可选) 1.…

群晖上部署农场管理系统farmOS

什么是 farmOS ? farmOS 是一个基于 Web 的应用程序,用于农场管理、规划和记录保存。它由志愿者社区开发,旨在为农民、开发人员和研究人员提供一个标准平台。 需要注意的是,群晖内核版本太低会遇到下面的错误,这个 AH0…

k8s集群部署

部署k8s集群 要求: 主机192.168.199.149(master)node节点(192.168.199.150,192.168.199.151)2个cpu或更多 所有机器可以联网,湖湘之间可以ping同,关闭防火墙,selinux,…

Python——Numpy基础分析(1)

一、数据集 1.数据说明 fixed acidity 固定酸度 volatile acidity 挥发性酸度 pH 酸碱值 alcohol 酒精度数 quality 品质得分 2.部分数据展示 图 1-1部分数据展示 若需要全部数据,请私信作者,谢谢 二、导入数据——使用genfromtxt函数来读取文件…

Tansformer原理解读

什么是注意力机制 生物学中的注意力机制是指人类或动物能够选择性地将感知和认知资源集中到某些信息或任务上的能力。这种能力允许我们在众多信息的背景中过滤出重要的信息,并将这些信息传递给相应的神经元进行处理。 本质:能从中抓住重点,…

Fastgpt知识库接入oneapi和自定义大模型

本期教程教大家训练自己的知识库回答chatgpt回答不了的问题 FastGPT 是一个知识库问答系统,可以通过调用大模型和知识库回答特定的问题 可以做成专属 AI 客服集成到现有的APP或者网站内当作智能客服支持网络爬虫学习互联网上的很多知识可以通过flow可视化进行工作流程编排 本期…

Dask简介

目录 一、概述 二、编程模型 2.1 High-Level Collection 2.2 Low level Interface 三、调度框架 3.1 任务图 3.2 调度 3.3 优化 3.4 动态任务图 一、概述 Dask是一个灵活的Python并行计算库。 Dask由两部分组成: 为计算优化的动态任务调度:和A…

汇凯金业:黄金价格波动的原因是什么

黄金价格波动的原因通常是多方面的,包括但不限于: 经济数据:比如就业数据、通胀率、GDP增长率等对经济状况的指标不及预期,可能会增加黄金作为避险资产的吸引力。 货币政策:央行的利率决策、货币供应量的变化、量化宽…

【每日力扣】543. 二叉树的直径与101. 对称二叉树

🔥 个人主页: 黑洞晓威 😀你不必等到非常厉害,才敢开始,你需要开始,才会变的非常厉害 543. 二叉树的直径 给你一棵二叉树的根节点,返回该树的 直径 。 二叉树的 直径 是指树中任意两个节点之间最长路径的…

vue项目基于WebRTC实现一对一音视频通话

效果 前端代码 <template><div class"flex items-center flex-col text-center p-12 h-screen"><div class"relative h-full mb-4 fBox"><video id"localVideo"></video><video id"remoteVideo">…

深圳车间厂房降温用什么设备好?

环保水空调&#xff08;也被称为水冷空调或蒸发式降温换气机组&#xff09;的特点主要体现在以下几个方面&#xff1a; 节能环保&#xff1a;环保水空调使用水作为冷媒介&#xff0c;相比传统空调的制冷方式&#xff0c;它能在制冷过程中节约更多的能源&#xff0c;减少碳排放…

羊大师分析,为什么羊奶是孩子的理想饮品?

羊大师分析&#xff0c;为什么羊奶是孩子的理想饮品&#xff1f; 羊奶&#xff0c;作为一种传统的营养饮品&#xff0c;近年来逐渐受到家长们的青睐&#xff0c;成为孩子们的理想饮品。那么&#xff0c;羊大师将为大家讲解&#xff0c;为什么羊奶能够赢得如此多的赞誉&#xf…

Beego 使用教程 5:页面视图

beego 是一个用于Go编程语言的开源、高性能的 web 框架 beego 被用于在Go语言中企业应用程序的快速开发&#xff0c;包括RESTful API、web应用程序和后端服务。它的灵感来源于Tornado&#xff0c; Sinatra 和 Flask beego 官网&#xff1a;http://beego.gocn.vip/ 上面的 bee…

如何备考PMP才能一次通过?

PMP备考一个月就能通过&#xff0c;培训机构中就应该这么学&#xff01; PMP考试的难度其实并没有大家想象中的那么大&#xff0c;现在培训机构的通过率基本也在90%以上&#xff0c;而这90%以上也基本都是头一次参加考试很少有参加重考的学员。我就是在威班PMP培训了一个多月一…