Agent:OpenAI的下一步,亚马逊云科技站在第5层

什么是Agent?在大模型语境下,可以理解成能自主理解、规划、执行复杂任务的系统。Agent也将成为新的起点,成为各行各业构建新一代AI应用必不可少的组成部分。

对此,初创公司Seednapse AI创始人提出构建AI应用的五层基石理论,受到业界关注。

  1. Models,也就是我们熟悉的调用大模型API。
  2. Prompt Templates,在提示词中引入变量以适应用户输入的提示模版。
  3. Chains,对模型的链式调用,以上一个输出为下一个输入的一部分。
  4. Agent,能自主执行链式调用,以及访问外部工具。
  5. Multi-Agent,多个Agent共享一部分记忆,自主分工相互协作。

创业先锋之外,连AI基础设施的巨头也已经开始在Agent上发力。

比如亚马逊云科技纽约峰会上宣布的Amazon Bedrock Agents新功能,便是这种趋势最有代表性的体现。

 

Amazon Bedrock Agents在全托管基础模型服务的基础上,又把开发、部署和管理多个Agent的能力打包集成在一起。如果按照前面的五层基石理论,这类服务相当于直接从第五层开始,大大降低开发门槛。正如亚马逊云科技在发布会上所形容:只用几次点击,搞定能执行任务的生成式AI应用。可以预见的是,降低了门槛的Agent应用也将在各行各业全面爆发。

Agent,AI应用新时代的起点

怎样才算一个Agent应用?OpenAI华人科学家翁丽莲给出直观的“配方”:Agent=大模型+记忆+主动规划+工具使用。

以亚马逊云科技平台为例,开发Agent应用首先要根据具体任务场景给Agent选择合适的基础模型。Amazon Bedrock上除了自家的Amazon Titan大模型,还集结了擅长安全可控的Anthropic、擅长检索汇总信息的Cohere、以及专攻文生图的stability.ai等各家模型。选好后,把要执行的任务指令直接用文字描述出来,让Agent明白要扮演的角色和要完成的目标。指令可以是包括一系列“问题-思考步骤-行动步骤-示例”的结构化提示词,在ReAct(协同推理和行动)技术支持下,基础模型可以通过推理和决策找出相应的解决方案。

接下来的重头戏便是Add Action Group(添加动作组)。Agent要完成的具体任务,以及能使用的工具如企业系统API、Lambda函数等都是在这里设置。官方演示中是一个保险索赔管理场景,Agent通过提取未结索赔的列表、确定每个索赔的未完成文书工作并向保单持有人发送提醒来管理保险索赔。所有动作组设置好后,创建Agent和部署都是几次点击就能完成。

部署完成后,在测试中就可以看到Agent理解用户请求、将任务分解为多个步骤(收集未结保险索赔、查找索赔ID、发送提醒)并执行相应的操作。Amazon Bedrock通过向导式交互界面,减少了配置基础模型所需的编码工作量。动作组提供调用API实现特定功能,以及使用自己的数据构建差异化应用程序,又让基础模型能够完成更复杂的实际业务任务。

在整个流程中,还可以配合亚马逊云科技平台上的各种安全服务。比如使用PrivateLin建立基础模型和本地网络之间的私有连接,所有流量都不会暴露给互联网。又通过提供完全托管的服务,让开发者不需要管理底层系统就能发挥基础模型的能力。最终缩短从基础模型到实际应用的周期,加速基础模型为业务创造的价值。

加速大模型应用,还应关注什么

有了Amazon Bedrock的Agent能力,我们得以快速将大模型投入实际业务,为企业实现降本增效或创新。但要真正利用生成式AI的全部价值、发挥全部潜力,并与其他竞争对手拉开潜力,私有数据才是其中根本。换言之,大模型应用落地的关键,是企业自己宝贵的行业数据。

如何集成这些丰富的资源到我们的Agent之中,保证我们的大模型应用在执行任务时能够高效访问到正确的信息——是当下每一个企业都要面对的问题。当然,这一切都必须以保证隐私为前提。

除了私有数据的集成和调用,在大模型应用落地的路上,最为底层的支撑,算力,也始终是一个百说不厌的话题。众所周知,当下的显卡资源异常稀缺,且价格不菲。无论是购买还是租用,这都成了全球各企业在探索生成式AI应用上的一大笔支出。如何让这一笔花销更为经济实惠?这也是每个企业的思虑所在。

值得关注的是,以亚马逊云科技为代表的领先供应商,正在针对生成式AI落地过程中的这些挑战和痛点提供系统性的解决方案,对上述问题一一破解。针对个性化数据问题,亚马逊云科技宣布为三款数据服务提供向量引擎,用来助力生成式AI应用与业务整合。在生成式AI爆发之后,向量数据库也实在火爆不已。因为相比传统的关系数据库,它能给予与模型上下文更相关的响应。

 

亚马逊云科技这一最新服务,就是将私有数据存储到具有向量引擎的数据库中,在进行生成式AI应用时,通过简单的API调用就能方便地查询企业内部的数据。

而根据当前数据存储位置、对数据库技术的熟悉程度、向量维度的扩展、Embeddings的数量和性能需求等不同需求,亚马逊云科技提供了3个选项来满足:

  1. Amazon Aurora PostgreSQL兼容版关系型数据库,支持pgvector开源向量相似性搜索插件;
  2. 分布式搜索和分析服务Amazon OpenSearch,带有k-NN(k最近邻)插件和适用于Amazon OpenSearch Serverless的向量引擎;
  3. 兼容PostgreSQL的Amazon RDS(Amazon Relational Database Service)关系型数据库,支持pgvector插件。

 

当然,最值得说道的是这次最新推出的Amazon OpenSearch Serverless服务,它最大的优点就是让企业只关心向量数据的存储和检索,而不用背上任何底层运维的负担。

解决完数据集成问题,在底层支撑上,亚马逊云科技这次也直接推出H100支持的全新Amazon EC2 P5实例,这一曾经对于大多数企业都相当难得的算力资源,现在也变得“唾手可得”了。

据了解,该实例包含8个英伟达H100 Tensor Core GPU,640GB高带宽GPU内存,同时提供第三代AMD EPYC处理器、2TB系统内存和30TB本地NVMe存储,以及3200Gbps的聚合网络带宽和GPUDirect RDMA支持,可实现更低延迟和高效的横向扩展性能。相比上一代基于GPU的实例,Amazon EC2 P5可以让训练时间最多可缩短6倍(从几天缩短到几小时),降低高达40%的训练成本。

再加上亚马逊云科技之前基于自研芯片发布的Amazon EC2 Inf2和Amazon EC2 Trn1n等性能也表现不错的实例,在算力需求这一问题上,可以说是有了非常多的按需选择空间。

除了以上这些基础支持,各种开箱即用的AI服务也不“缺席”。如针对开发环节的AI编程助手Amazon CodeWhisperer,现在它与Amazon Glue实现集成,将AI代码生成的场景又扩展到一个新人群:数据工程师,只需自然语言(比如“利用json文件中的内容创建一个Spark DataFrame”),这些开发人员即可搞定各种任务;再如针对商业智能(BI)的Amazon QuickSight,也能够让业务分析师们使用自然语言执行日常任务,在几秒钟内创建各种数据可视化图表;还有Amazon HealthScribe,可以用于医疗行业生成临床文档,节省医生时间。这些工具都是主打让企业专注于核心业务,提高生产效率。

从今年4月起,亚马逊云科技就结合自身定位并基于真实用户需求出发,正式宣布进军生成式AI市场,为一切想要利用生成式AI技术加速或创新业务的企业提供服务。在短短的4个月期间,亚马逊云科技已推出了各类底座资源,从基础模型到算力支撑,从私人数据存储到高效开发工具,应用尽有。

而这次在纽约峰会释出的最新动向,则是继续加码生成式AI应用开发所需的一切。从Amazon EC2 P5实例代表的算力层、到Amazon OpenSearch Serverless向量引擎、Amazon Bedrock Agents代表的工具层、再到Amazon QuickSight等代表的应用层,一项端到端的解决方案已然形成。

在这之中,亚马逊云科技不断降低生成式AI的门槛,无论是初创企业还是传统行业,无论是处于生成式AI进程的哪一层,都能在这里找到合适的工具,无需耗费太多精力在底层逻辑之上,便可快速投入实际业务。

如亚马逊云科技数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian所说:我相信生成式AI将改变每一个应用程序、行业和企业。在各行各业都全力奔赴的这场全新技术变革之下,亚马逊云科技的这一系列服务,无疑为普通玩家赢得了宝贵的时间和机会。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/60248.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

java字符串超详解

目录 1. API 1.1 API 概述 2. String 2.1 String概述 2.2 String 构造方法 2.3 String对象的特点 2.4 字符串的比较 2.5 String中的方法 3. StringBuilder 3.1 StringBuilder 概述 3.2 StringBuilder 的构造方法 3.3 StringBuilder 的添加和反转 3.4 StringBuilder…

Kill OOM

1、什么是OOM? OOM是每个程序员早晚都必须面对的问题,通常情况下,Java程序员所说的OOM是JVM OOM,即java.lang.OutOfMemoryError,是指Java程序在运行时申请内存超过JVM可用内存限制,导致JVM无法继续分配内存&#xff0…

小红书2023“家生活”趋势白皮书

关于报告的所有内容,公众【营销人星球】获取下载查看 核心观点 近年来,年轻人与家的关系愈发紧密。 在小红书上,我们观察到了家居家装内容的蓬勃生长,3 年来相关内容的笔记规模增长了6倍,相关品类的搜索量增加的 3.…

【JavaEE初阶】了解JVM

文章目录 一. JVM内存区域划分二. JVM类加载机制2.1 类加载整体流程2.2 类加载的时机2.3 双亲委派模型(经典) 三. JVM垃圾回收机制(GC)3.1 GC实际工作过程3.1.1 找到垃圾/判定垃圾1. 引用计数(不是java的做法,Python/PHP)2. 可达性分析(Java的做法) 3.1.2 清理垃圾1. 标记清除2…

自学(黑客)技术,入门到入狱!

1.网络安全是什么 网络安全可以基于攻击和防御视角来分类,我们经常听到的 “红队”、“渗透测试” 等就是研究攻击技术,而“蓝队”、“安全运营”、“安全运维”则研究防御技术。 2.网络安全市场 一、是市场需求量高; 二、则是发展相对成熟入…

@ControllerAdvice注解使用及原理探究 | 京东物流技术团队

最近在新项目的开发过程中,遇到了个问题,需要将一些异常的业务流程返回给前端,需要提供给前端不同的响应码,前端再在次基础上做提示语言的国际化适配。这些异常流程涉及业务层和控制层的各个地方,如果每个地方都写一些…

Typescript中的元组与数组的区别

Typescript中的元组与数组的区别 元组可以应用在经纬度这样明确固定长度和类型的场景下 //元组和数组类似,但是类型注解时会不一样//元组赋值的类型、位置、个数需要和定义的类型、位置、个数完全一致,不然会报错。 // 数组 某个位置的值可以是注解中的…

正点原子HAL库入门1~GPIO

探索者F407ZGT6(V3) 理论基础 IO端口基本结构 F4/F7/H7系列的IO端口 F1在输出模式,禁止使用内部上下拉 F4/F7/H7在输出模式,可以使用内部上下拉不同系列IO翻转速度不同 F1系列的IO端口 施密特触发器:将非标准方波,整形为方波 当…

01-序言

文章作者:里海 来源网站:https://blog.csdn.net/WangPaiFeiXingYuan 简介: 此专栏是学习“线性代数”课程做的笔记,教程来自B站。视频作者是Grant Sanderson, 这套视频里的动画是他通过manim制作的(manim是…

怎么维护好自己的电脑

你的电脑已经成为你工作、学习、娱乐的最佳工具之一,但是如果你不做好电脑维护工作,就可能面临着电脑变慢、蓝屏、崩溃等问题。在这篇文章中,我们将介绍10个电脑维护步骤,让你的电脑更加稳定! 为什么需要电脑维护&…

python数据处理程序代码,如何用python处理数据

大家好,给大家分享一下python数据处理程序代码,很多人还不知道这一点。下面详细解释一下。现在让我们来看看! 要求:分别以james,julie,mikey,sarah四个学生的名字建立文本文件,分别存…

285 · 高楼大厦

链接:LintCode 炼码 - ChatGPT!更高效的学习体验! 题解: 1.从左往右维护一个单调递减,栈的长度就是,可以看到最多的高楼 2.从右往后也是维护一个单调递减的栈 class Solution { public:/*** param arr:…

Java判断文件的系统格式编码格式

使用Java判断一个文件的系统格式(亲测可用),比如我们常见的Windows格式的文件,Unixg格式的文件,Mac格式的文件;常常有这样的场景:我们在Windows系统编写的脚步上传到Linux系统执行,执…

【验证测试】未初始化的全局变量和局部变量的初值

验证目标&#xff1a; 未初始化的全局变量的初值为 0未初始化的局部变量的初值为随机值 测试用例&#xff1a; #include <stdio.h>char gval1; int gval2; static long gval3;int main() {unsigned char uchTmp1;unsigned int uTmp2;printf("%d\n", gval1)…

Centos虚拟机忘记密码-修改密码

1.重启系统 2.在这个选择界面&#xff0c;按e建 3.找到如下位置&#xff0c;插入init/bin/sh 4.填写完成后按Ctrlx引导启动 5.输入mount -o remount, rw / (注意空格) 6.重置密码 出现以下为重置成功 7.执行touch /.autorelabel 8.退出exec /sbin/init 9.输入你的新密…

14-4_Qt 5.9 C++开发指南_QUdpSocket实现 UDP 通信_UDP组播

文章目录 1. UDP组播的特性2. UDP 组播实例程序的功能3. 组播功能的程序实现4. 源码4.1 可视化UI设计4.2 mainwindow.h4.3 mainwindow.cpp 1. UDP组播的特性 下图简单表示了组播的原理。UDP 组播是主机之间“一对一组”的通信模式&#xff0c;当多个客户端加入由一个组播地址定…

STM32——STM32F401x系列标准库的下载+环境搭建+建工程步骤(更完整)

文章目录 标准库的下载环境搭建建工程最后的话 标准库的下载 1.STM32标准库的官网下载网站https://www.st.com/content/st_com/en.html 2. 3. 4. 5. 6. 7.点击之后下滑 8.选择自己需要的版本下载 环境搭建建工程 大致步骤同之前我写的一篇STM32——建工程差不多&#xff0…

快速WordPress个人博客并内网穿透发布到互联网

快速WordPress个人博客并内网穿透发布到互联网 文章目录 快速WordPress个人博客并内网穿透发布到互联网 我们能够通过cpolar完整的搭建起一个属于自己的网站&#xff0c;并且通过cpolar建立的数据隧道&#xff0c;从而让我们存放在本地电脑上的网站&#xff0c;能够为公众互联网…

jenkins准备

回到目录 jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具&#xff0c;主要用于持续、自动的构建/测试软件项目、监控外部任务的运行。Jenkins用Java语言编写&#xff0c;可在Tomcat等流行的servlet容器中运行&#xff0c;也可独立运行。通常与版本管理工具(SCM)、构…

【每日易题】数据结构链表篇——单链表oj题(1),几道典型例题带你快速掌握单链表

君兮_的个人主页 勤时当勉励 岁月不待人 C/C 游戏开发 Hello,米娜桑们&#xff0c;这里是君兮_&#xff0c;今天来填一个埋了好久的坑&#xff0c;在暑假之前就预告过这个系列&#xff0c;但由于各种原因&#xff08;主要是有点懒&#xff09;今天才开坑。我们这个系列主要是…