大神出新品,吴恩达开源机器翻译智能体项目

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。

针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

合集:

《大模型面试宝典》(2024版) 正式发布!
持续火爆!《AIGC 面试宝典》已圈粉无数!


前段时间,随着 GPT-4o、Sora 的陆续问世,多模态模型在生成式方面取得的成绩无可否认,而人工智能的下一个革命性突破将从何处涌现,引起了大量学者和相关人士的关注。

人工智能著名学者、斯坦福大学教授吴恩达一直非常推崇智能体。此前他曾在个人博客着重指出「AI 智能体工作流将会在今年推动人工智能取得长足进步」,AI 智能体的未来潜力愈加被看好,吸睛无数。

近日,吴恩达延续他之前的脚步,开源了一个 AI 智能体机器翻译项目。

图片

项目链接:https://github.com/andrewyng/translation-agent

他分享了关于 AI 智能体机器翻译对改进传统神经机器翻译方面的看法:「具有巨大潜力,尚未被完全发掘」,并发布了一个他一直在周末玩的翻译智能体演示。该翻译智能体以 MIT 许可证形式发布。用户可以自由使用、修改和分发该代码,无论是商业用途还是非商业用途。

在研究团队有限的测试中,吴恩达团队开源的翻译智能体有时能够与领先的商业提供商进行同等水平的竞争,有时则不如它们。但它仍提供了一个高度可控的翻译系统,只需简单更改 prompt,使用者就可以指定语气(正式 / 非正式)、地区变体(例如:使用者想要在西班牙本地说的西班牙语,还是在拉丁美洲说的),并确保术语的翻译一致性(通过提供词汇表)。这个应用程序虽然目前仍稍显稚嫩,但鉴于反思工作流已经展现出不错的成果,吴恩达认为智能体翻译仍有很大的提升空间。

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群, 想要大模型技术交流、了解最新面试动态的、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

想加入星球也可以如下方式:

方式①、微信搜索公众号:机器学习社区,后台回复:交流
方式②、添加微信号:mlc2040,备注:交流

在吴恩达分享的开源项目中,具体介绍了 AI 智能体翻译项目的工作流。

翻译智能体:使用反思工作流进行智能体翻译

这是一个使用 Python 演示的反思智能体工作流的机器翻译示例。主要步骤如下:

1. 输入 prompt,使大型语言模型(LLM)将文本从 source_language 翻译成 target_language;

2. 让 LLM 反思翻译结果,并提出建设性的改进建议;

3. 利用这些建议改进翻译。

自定义能力

通过使用 LLM 作为翻译引擎的核心,该系统具有高度可控性。

例如:通过更改 prompt,这种工作流比传统的机器翻译(MT)系统更容易实现以下功能:

  • 修改输出的风格,如正式 / 非正式。

  • 指定如何处理习语和特殊术语,如名字、技术术语和缩写。例如,在 prompt 中包含术语表,可以确保特定术语(如开源、H100 或 GPU)翻译的一致性。

  • 指定特定区域的语言使用或特定方言,以服务目标受众。例如,拉丁美洲的西班牙语与西班牙的西班牙语不同;加拿大的法语与法国的法语不同。

通过 BLEU(Bilingual Evaluation Understudy)分数进行翻译质量的评估作为有别于传统机器翻译的后起之秀,同样也是衡量 AI 智能体翻译的必由之路。

根据使用传统翻译数据集的 BLEU 分数进行评估的结果:这种工作流有时能与领先的商业产品竞争,但有时表现也不如它们。不过,它偶尔也能够得到非常好的结果,甚至优于商业产品。

他们认为这只是智能体翻译的起点,这一方向在翻译方面很有前景,并且有很大的改进空间。因此,作者团队发布这一演示,以鼓励更多的讨论、实验、研究和开源贡献。

如果相比于更快且更便宜的传统架构(例如输入文本并直接输出翻译的端到端 Transformer 架构),智能体翻译能够有更好的结果,那么它就 neng 提供一种自动生成训练数据(平行文本语料库)的方法,可以用于进一步训练和改进传统算法。

启动

为使 translation-agent 启动,需要遵循以下步骤。

安装:

安装需要 Poetry 管理器。根据安装环境,安装 Poetry 可能需要执行以下步骤:

pip install poetry
git clone https://github.com/andrewyng/translation-agent.gitcd translation-agent
poetry install
poetry shell # activates virtual environment

运行工作流需要一个包含 OPENAI_API_KEY 的 .env 文件,使用者可以参考 .env.sample 文件作为示例。

Usage:

import translation_agent as ta
source_lang, target_lang, country = "English", "Spanish", "Mexico"
translation = ta.translate(source_lang, target_lang, source_text, country)

使用:

import translation_agent as ta
source_lang, target_lang, country = "English", "Spanish", "Mexico"
translation = ta.translate(source_lang, target_lang, source_text, country)

查看 examples/example_script.py 获取一个示例脚本并进行尝试。

翻译智能体的进一步发展

吴恩达在最后还分享了几点希望开源社区能够尝试的想法,希望凭借众家之力将翻译智能体的巨大潜力归为实处。

  • 尝试其他语言生成模型。此项目主要使用 gpt-4-turbo 进行原型开发。其他人可以尝试其他 LLM,以及其他超参数选择,并查看是否有些大模型可以对特定语言更好地翻译。

  • 术语表的创建。使用 LLM 也许可以更高效地建立术语表。例如,许多企业使用的是互联网上不常用的专业术语,而 LLM 可能不知道这些术语。此外,还有许多术语可能有多种翻译方式。例如,「open source」在西班牙语中可以是「Código abierto」或「Fuente abierta」;两者都可以,但最好选择一个并在单个文档中坚持长期使用。

  • 术语表的使用和实施。将术语表包含在 prompt 中最好的方式是什么?

  • 在不同语言上进行评估。翻译智能体在不同语言中的表现会发生怎样的变化?有没有通过一些变动,使其在特定源语言或目标语言上表现更好的方法?(请注意,对于 MT 系统正在接近的较高性能水平,BLEU 是否是一个很好的度量标准仍是不确定的。)此外,对于资源较少的语言,它的性能表现仍需要进一步研究。

  • 错误分析。吴恩达团队发现此应用程序对于一些指定语言和国家 / 地区(例如,「在墨西哥作为普通话的西班牙语」)来说效果很好。除此之外,当前方法在哪些方面仍存有不足?翻译智能体在专业主题(如法律、医学)或特殊文本类型(如电影字幕)上的性能表现如何?存在怎样的限制?

  • 更好的评估指标。吴恩达认为对 AI 智能体翻译进行更好的评估是一个巨大且重要的研究课题。与其他生成自由文本的 LLM 应用程序一样,当前的评估指标似乎并不足够评估翻译智能体的表现。例如,他们发现:即使在主动型工作流程在捕捉上下文和术语方面表现更好的文档上,仍会导致人类评分者更喜欢当前的商业产品,但是在句子级别进行评估(使用 FLORES 数据集)时,主动型系统的 BLEU 得分则较低。在设计出更好的度量标准(也许使用 LLM 评估翻译?)以在文档水平上更好地实现与人类偏好相关的翻译质量仍需更多的努力。

值得注意的是,一些学术研究小组也开始关注基于 LLM 和主动型翻译的研究。

对于 AI 翻译智能体的前景,吴恩达认为这个领域还处于起步阶段,并分享了一些相关的学术论文供大家参考。

图片

  • 论文标题:ChatGPT MT: Competitive for High- (but not Low-) Resource Languages

  • 论文地址:https://arxiv.org/pdf/2309.07423

图片

  • 论文标题:How to Design Translation Prompts for ChatGPT: An Empirical Study

  • 论文地址:https://arxiv.org/pdf/2304.02182v2

图片

  • 论文标题:Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts

  • 论文地址:https://arxiv.org/pdf/2405.11804

吴恩达此次开源的翻译智能体仍处于初级阶段,但已在机器翻译数据集上有了较好的表现,为 AI 智能体的下一步发展注入了又一剂强心针。

参考链接:https://github.com/andrewyng/translation-agent

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/702892.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Clion控制台打印中文乱码

第一步 第二步 第三步 ctrlaltshift/ 把run.processes,with.pty

教育小程序开发:技术实现与实践案例

随着信息技术的不断进步,教育小程序在教育领域的应用越来越广泛。教育小程序开发不仅可以提高教学效率,还能够提供个性化的学习体验。本文将以技术代码为例,详细介绍教育小程序开发的关键技术和实践案例,帮助开发者更好地理解和实…

小公司要求真高

大家好,我是白露啊。 最近看到一个爽文帖,标题就是——“小公司要求真高”。 事情是这样的,一家的小公司在拿到简历之后,HR直接对楼主说:“你不合适,简历不行。” 言外之意就是嫌弃简历单薄,看…

IntelliJ IDEA 2024.1最新安装 亲测有效2099年

标题一:IDEA官方下载 ①如题,先到IDEA官方下载,简简单单 ②IDEA官方:IntelliJ IDEA – the Leading Java and Kotlin IDE 标题二:获取脚本 点这里获取 🌟获取完后压缩,推荐与IDEA放在同一目…

白酒:茅台镇白酒的地域特色菜肴与搭配建议

在中国的美食文化中,酒与菜一直是密不可分的。茅台镇作为中国白酒的发源地,其白酒与地域特色菜肴的搭配更是有着深厚的历史底蕴。云仓酒庄作为茅台镇的知名酒庄,其豪迈白酒与当地特色菜肴的搭配,更是让人回味无穷。 茅台镇的菜肴以…

delmia中机器人末端固定工具

1 需要在工具上面建立点 在Device Building模式下 2 然后通过 set tool可以设置

Shell脚本 if语句

条件测试: $? 返回码 判断命令或者脚本是否执行成功(最近的一条) 0 true 为真就是成功 成立 非0 false 失败或者异常 test命令 可以进行条件测试 然后根据的是返回值来判断条件是否成立。 -e 测试目录或者文件是否存在 exist -d 测试…

宝兰德受邀出席第八届丝绸之路网络安全论坛

近日,2024第八届丝绸之路网络安全论坛在陕西宾馆会议中心成功举办,本次论坛以“汇聚万千智慧 夯实安全堤坝”为主题,由主论坛及密码技术与密评、教育行业网络安全、卫健行业网络安全三个平行分论坛组成,论坛邀请业内专家学者、企业…

MyBatisPlus代码生成器(交互式)快速指南

引言 本片文章是对代码生成器(交互)快速配置使用流程,更多配置方法可查看官方文档: 代码生成器配置官网 如有疑问欢迎评论区交流! 文章目录 引言演示效果图引入相关依赖创建代码生成器对象引入Freemarker模板引擎依赖支持的模板引擎 MyBat…

HBase中Master初始化错误~

ERROR:org.apache.hadoop.hbase.PleaseHoldException:Master is initializing 1、停止HBase运行 2、启动zookeeper中的zkCli.sh服务 ./zookeeper/bin/zkCli.sh 3、执行完毕显示以下结果,删除habse文件夹 4、重新启动HBase即可。

如何关闭端口被占用的进程

如何关闭端口被占用的进程 操作步骤一、打开命令提示符(Command Prompt)二、查看占用端口的进程三、kill杀死占用端口的进程 操作步骤 一、打开命令提示符(Command Prompt) 使用 win R 打开命令行模式 然后在命令行窗口输入下…

基于机器学习和奇异值分解SVD的电池剩余使用寿命预测(Python)

采用k-最近邻KNN和随机森林算法建立预测模型。 import pandas as pd from sklearn.model_selection import train_test_split from sklearn.svm import SVC # Support Vector Classifier from sklearn.preprocessing import StandardScaler from sklearn.metrics import accu…

权限维持--小结

权限维持 windows 域环境 基于验证 DLL 加载-SSP 基于验证 DLL 加载-HOOK 基于机制账号启用-DSRM 基于用户属性修改-SID-history 基于登录进程劫持-Skeleton-Key 单机 基于用户-隐藏用户 基于服务 TGT-黄金白银票据 基于软件-GotoHTTP&RustDesk 自启动 粘滞键 …

vue2组件封装实战系列之message组件之方法式调用

组件之 GfMessage 消息提示, 用于页面顶部消息栏的展示, 默认是居中显示, 可以通过设置属性来改变位置 消息组件有点类似 alert 组件,区别是 message 组件是不用写在页面上,而是通过调用方法来弹窗显示 效果预览 属性 参数类型说明可选值默认值visibleBoolean显示隐藏-falses…

Maven增强插件助你开发快人一步

因为之前的工作中一直用的Maven进行jar包管理,每次新加依赖都要去中央仓库上搜索下坐标,这里为了方便以SerchEveryWhere为入口,增加了一个Maven的搜索tab,输入你想要找的包名即可在idea中直接显示最新版对应的坐标以及cve数&#…

线程池处理Runnable任务

1、线程池处理Runnable任务 1.1、ThreadPoolExecutor创建线程池对象示例 ExecutorService pools new ThreadPoolExecutor&#xff08;3&#xff0c;5&#xff0c;8&#xff0c;TimeUnit.SECONDS&#xff0c;new ArrayBlockingQueue<>(6)&#xff0c;Executors.default…

查分易学生成绩查询网站

亲爱的老师们&#xff0c;分享一个超级方便的小程序——查分易小程序&#xff0c;可以让学生查询成绩变得快捷高效。 1.创建表格设置 老师要准备一个Excel表格&#xff0c;表头要设置比如“姓名&#xff0c;学号等。系统只认Sheet1&#xff0c;所以要确保查询的信息在第一个表…

双非本科一年20w,已是人中龙凤了

大家好&#xff0c;我是白露啊。 “双非本科一年20w已经是人中龙凤了”……吗&#xff1f; 牛客上刷到这条帖子&#xff0c;我一开始以为是一个钓鱼、引战贴。看完才觉得他说的很对&#xff0c;现在在求职选择工作的时候&#xff0c;网上都觉得得40万、50万&#xff0c;但当真…

基于DenseNet网络实现Cifar-10数据集分类

目录 1.作者介绍2.Cifar-10数据集介绍3.Densenet网络模型3.1网络背景3.2网络结构3.2.1Dense Block3.2.2Bottleneck层3.2.3Transition层3.2.4压缩 4.代码实现4.1数据加载4.2建立 DenseNet 网络模型4.3模型训练4.4训练代码4.5测试代码 参考链接 1.作者介绍 吴思雨&#xff0c;女…

【python】tkinter GUI开发: Button和Entry的应用实战探索

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…