5月15日凌晨，谷歌召开“ I/O 2024”，生成式AI成为本次大会的重点并发布了一系列产品和多款大模型。

其中，谷歌DeepMind发布了一款全新的AI 代理（Agent）产品Project Astra，可以像昨天OpenAI发布的GPT4o一样，实现跨文本、音频、视频多模态实时推理。

例如，通过手机或谷歌眼镜让Astra解答数学题，解读周围环境等，这对于盲人、翻译、学习、导游、日常办公等领域帮助非常大。

Project Astra功能展示

和GPT4o一样，Astra的多模态理解能力使其玩法非常多，这里「AIGC开放社区」就选一些有代表性的案例为大家展示。

例如，通过手机的摄像头让Astra对所有听到、看到的东西进行解读。可以点击扬声器、画笔、代码让其解释用途和含义。

此外，Astra还可以与谷歌眼镜一起配合使用，这也就是说盲人戴上它在走路、看东西时获得实时解读功能。

不过Astra的语音情感输出能力和数据响应效率，似乎比GPT4o差了一些。

也可以让Astra对一些草图、物品进行深度解读和联想。

Astra对提升搜索体验帮助也非常大，例如，通过视频让Astra解释，为什么留声机的指针没有放在转盘上，Astra会直接跳转搜索页面给出详细的解决方案。

甚至当你接到诈骗电话时，Astra都可以及时提醒你。所以，Astra更像是一位万能小管家可以做很多事情。

AI代理可以为我们做什么

其实，AI代理并非现阶段才出现的，深度游戏玩家应该知道20多年前一款外挂神器——按键精灵。

这便是最早的AI代理雏形，它可以通过用户输入的指令来执行特定操作，例如，让游戏人物只在特定场景打怪。不过使用方法比较繁琐，需要一些编程基础。

随后按键精灵演变成RPA（机器人流程自动化）从游戏场景扩展至办公领域，并在OCR、NLP、ML等多种AI加持下实现自动化完成，在金融、日常办公、数据搬运等应用非常广泛。

而Astra、Project Astra在大模型加持下的AI代理属于第三代，在使用方式、能力方面获得巨大提升，为我们做的事情也更多。

健康管理与医疗咨询：AI健康代理助手可以通过分析用户输入的症状、健康记录和生活习惯，提供个性化的健康建议和早期疾病预警。

例如，一位患有糖尿病的人可以使用AI健康助手跟踪血糖水平，获得饮食和运动建议，甚至在血糖水平异常时获得提醒和建议寻求医疗帮助。

客户服务自动化：AI代理可以集成在客服系统中，提供7*24小时无间断服务。能够理解和回应用户查询，提供账户信息、解决常见问题、处理交易等。

个性化学习辅导：AI学习代理可以根据学生的学习进度、兴趣和难点定制个性化学习计划。

通过分析学生的互动，识别其强项和弱点，然后调整教学内容和难度，以适应学生的学习速度，从而提高学习效率和成效。

目前，谷歌并没有公布Project Astra具体的发布时间，仍处于开发阶段。估计很快会登录到Android、iOS等平台中使用。

可以预见，由OpenAI、谷歌掀起的全能AI代理将成为生成式AI领域一个新的热门赛道。

同时为之前的智能RPA、AutoGPT等起到推波助澜的作用扩大认知和市场范围，极大培养了用户的习惯一个全民AI代理时代已经来临。

本文素材来源谷歌官网，如有侵权请联系删除

END