【AI学习】Together AI的新研究:Together MoA(Mixture of Agents)

第一次听说Mixture of Agents,原来Agent也能混合,有意思!

介绍

Together AI的最新研究“Together MoA”(Mixture of Agents,代理混合)是一种创新的方法,旨在通过结合多个开源大型语言模型(LLMs)的集体智慧来增强单个模型的性能。该研究采用了分层架构,每一层包含多个LLM代理,这些代理各自具有不同的专长和优势。

在这里插入图片描述

具体来说,Together MoA使用六个开源模型作为提议者,并以Qwen1.5-110B-Chat作为最终的聚合器。这些开源模型包括WizardLM-2-8x22b、Qwen1.5-110B-Chat、Qwen1.5-72B-Chat和Llama-3-70B等。通过这种方式,Together MoA能够显著提升模型在各种任务上的表现,例如在AlpacaEval 2.0上的得分从GPT-4o的57.5%提高到了65.1%。

这种方法的核心思想是利用多个专家的集体智慧来解决更复杂的问题,类似于多个专家在团队中合作的情况。通过这种方式,Together MoA不仅提高了模型的生成效果,还推动了LLM能力边界的进一步发展。

总结来说,Together MoA通过结合多个开源大模型的集体优势,采用分层架构和代理混合的策略,显著提升了模型在各种任务上的性能,成为当前LLM领域的一个重要突破。

Mixture of Agents

研究基于一个关键的观察结果,称之为LLM的协作性 - 当呈现其他模型的输出时,LLM往往会产生更好的响应,即使这些其他模型本身的能力较差。

为了调查这种现象是否在开源模型中普遍存在,利用其他模型的响应时评估了分数。图 2 显示,每个模型在 AlpacaEval 2.0 上的基本分数都显著增加。即使参考响应质量低于模型自身的质量,也会发生这种改进。
在这里插入图片描述
为了有效地利用多个 LLM 的协作,根据他们在协作的不同方面的优势对他们的角色进行分类:

提议者:这些模型生成初始参考响应。虽然提议者可能会自己产生高质量的回应,但其主要价值在于提供细致入微和多样化的观点,作为聚合者的宝贵参考。
聚合器:这些模型将提案者的不同响应综合成一个单一的、高质量的响应。

基于这种分类,提出了一个分层过程来改进响应,如图 1 所示。最初,几个提议者独立地生成对给定提示的响应。然后,这些响应将呈现给下一层的聚合器,聚合器将它们合成更高质量的响应。这个迭代过程会持续到几个层次,直到实现更强大、更全面的响应。

MoA 共同使用六个开源模型作为提议者,Qwen1.5-110B-Chat 作为最终聚合器。测试的六个开源模型是:WizardLM-2-8x22b、Qwen1.5-110B-Chat、Qwen1.5-72B-Chat、Llama-3-70B-Chat、Mixtral-8x22B-Instruct-v0.1、dbrx-instruct。设计的MoA共有三层,在质量和性能之间取得了良好的平衡。
MoA-Lite 一起使用相同的提议器集,但使用 Qwen1.5-72B-Chat 作为聚合器,并且只有两层。
带有 GPT-4o 的 MoA 也使用同一组提议器,并具有三层,但最终聚合器更改为 GPT-4o。
在三个标准基准上展示了评估结果:AlpacaEval 2.0、MT-Bench 和 FLASK。选择这些基准是为了全面评估方法的性能,并与最先进的 LLM 进行比较。 具体来说,在 AlpacaEval 2.0 排行榜和 MT-Bench 上都名列前茅。值得注意的是,在 AlpacaEval 2.0 上,仅使用开源模型,实现了 7.6% 的绝对改进,从 57.5% (GPT-4o) 到 65.1% (Together MoA)。Together MoA-Lite 配置尽管层数更少且更具成本效益,但仍然取得了与 GPT-4o 相当的分数。

结论和未来方向
MoA 通过连续的协作阶段共同利用多个开源 LLM 的优势,与强大的闭源模型相比,具有卓越的性能。这项研究强调了增强人工智能系统的潜力,使它们更有能力、更强大并与人类推理保持一致。

展望未来,对几个潜在的未来方向感兴趣。一个关键的兴趣领域是MoA架构的系统优化,探索模型、提示和架构配置的各种选择。计划优化第一个Token的时间延迟,并有许多期望将显着提高性能的技术。此外,下一步的目标是评估和优化 Together MoA,以完成更多以推理为中心的任务,进一步增强其应对 AI 中复杂而微妙的挑战的能力。

文章链接:https://www.together.ai/blog/together-moa?continueFlag=73a51343b42e6d9e8e3db83cc8bb0f7f

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/712656.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

proDAD V4最新版软件安装包下载+详细安装步骤

简介: proDAD Adorage 是一款一体化的效果库,完美拥有所有的效果,集所有Adorage卷于一体,该系列包含13种可用套装中的17,000多种效果。 对于每种情况都能获得完美的效果,支持Adobe、avid、Corel、Cyberlink、MAGIX等多…

Setapp:只需一次订阅,即可获得 240 款+ Mac 软件

为一项任务寻找合适的应用程序是一项相当艰巨的任务。过去,最好的办法要么是花费宝贵的时间搜索可靠的评论,要么就是相信无论安装什么软件都能完成任务。 如果你是 Mac 用户,那么 Setapp 将让这一问题成为过去。无需在需要时下载单个程序&am…

special characters are not allowed

处理域名连接nacos读取配置异常 1 项目启动报错2 问题处理3 刷新依赖重启问题解决 1 项目启动报错 使用ip可以正在启动,但是使用域名报下面的错误 2024-06-15 17:37:22.981 ERROR 29268 --- [ main] c.a.c.n.c.NacosPropertySourceBuilder : parse …

1)Java项目笔记搭建系统梳理相关知识

目录 前言项目结构Java部分Spring整合部分SpringBoot整合部分 模块说明规划 小结javarabbitmqmybatisspring最后推荐几本工具书 前言 工作有年头了,学到了很多技术,收获了很多。但是对与工作相关的专业技能知识的掌握杂而乱,不够全面系统。因…

面试题 17.06. 2出现的次数

题解&#xff1a;. - 力扣&#xff08;LeetCode&#xff09;. - 力扣&#xff08;LeetCode&#xff09; 数位 DP 通用模板_哔哩哔哩_bilibili class Solution { public:int numberOf2sInRange(int n) {std::string str to_string(n);int len str.size();std::vector<std:…

嵌入式软件工程师入何突破瓶颈?

各位关注嵌入式软件工程师发展的朋友们&#xff0c;下面来探讨一下嵌入式软件工程师该如何突破瓶颈。首先要强调的是&#xff0c;不要仅仅将自己局限在嵌入式软件工程师这一角色定位上。 事实上&#xff0c;嵌入式软件工程师已经掌握了诸多业务层面的内容&#xff0c;完全有能力…

【AI+编程】工作日常场景随时可以AI编程,记一个问答SQL快速导出数据日常示例

今天有个场景&#xff0c;我们有个老项目&#xff0c;由于历史原因差不多1年多没使用了&#xff0c;恰巧客户紧急情况要使用。因为当时没有需求&#xff0c;所以V1.0上线后 就没做更新。 需求很简单&#xff1a;我们假定 项目问题表、客户表、问题答案表&#xff0c; 实时查询…

Linux文件与内容查阅、归档压缩

#Linux系统基础 文件与内容查找、归档压缩 find命令搜索文件 grep对文件的内容进行搜索 tar命令进行文件的压缩与解压缩 一、文件的查找 格式实例&#xff1a;find . -name "123.txt"说明find起始目录查找类型查找条件./ 或 .-name“123.txt”在当前目录中查找…

联想正式发布全栈算力基础设施新品,加速筑基AI 2.0时代

6月14日&#xff0c;以“异构智算 稳定高效”为主题的联想算力基础设施新品发布会在北京成功举办。 据「TMT星球」了解&#xff0c;在与会嘉宾和合作伙伴的见证下&#xff0c;联想正式发布率先搭载英特尔至强 6能效核处理器的联想问天WR5220 G5、联想ThinkSystem SR630 V4、联…

STM32学习笔记(一)--时钟树详解

&#xff08;1&#xff09;时钟概述&#xff1b;时钟是具有周期性的脉冲信号&#xff0c;最常用的是占空比50%的方波。&#xff08;时钟相当于单片机的脉搏&#xff1b;STM32本身非常复杂&#xff0c;外设非常的多&#xff0c;为了保持低功耗工作&#xff0c;STM32 的主控默认不…

ChatTTS-WebUI测试页面项目

概述 分享可以一个专门为对话场景设计的文本转语音模型ChatTTS&#xff0c;例如LLM助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。在HuggingFace中开源的版本为4万小时训练且未SFT的版本. 该模型能够预测和控制细粒度的韵律特…

idea的java代码引用proto文件报错

尝试了四种办法&#xff0c;感觉第一个和第二个比较有效。 前提是要先安装了 proto 的idea插件。 1.修改idea配置文件编译大文件的限制 proto生成的源文件有数万行&#xff0c;源文件过大导致 idea 拒绝编译过大的源文件。 解决方案&#xff1a; 如果 protoc 生成的 class 文…

智能合约之路:Web3时代的商业革新之道

随着区块链技术的日益成熟和普及&#xff0c;智能合约作为其重要应用之一&#xff0c;正逐渐引领着我们进入一个全新的商业时代&#xff0c;即Web3时代。在这个时代&#xff0c;智能合约不仅改变着商业交易的方式&#xff0c;更为商业模式带来了颠覆性的革新。本文将深入探讨智…

二分【3】 旋转数组

目录 旋转数组 旋转数组找最小值 旋转数组找指定值 严格递增序列 递增序列 旋转序列找中位数&#xff1a; 旋转数组 旋转数组找最小值 思路 #include <iostream> #include <vector> #include <cmath> #include <string> #include <cstrin…

MyBatis的逆向工程详细步骤操作

1. MyBatis的逆向工程详细步骤操作 文章目录 1. MyBatis的逆向工程详细步骤操作2. 逆向工程配置与生成2.1 MyBatis3Simple&#xff1a;基础版&#xff0c;只有基本的增删改查2.1.1 第一步&#xff1a;在pom.xml 中添加逆向工程插件2.1.2 第二步&#xff1a;配置 generatorConfi…

(虚拟机)VMware软件的安装及Ubuntu系统安装

一、VMware软件的安装 软件下载&#xff0c;可以自己找或者百度网盘下载&#xff1a; 通过百度网盘分享的文件&#xff1a;ubuntu16…等2个文件 链接:https://pan.baidu.com/s/1VEnZKY9DJ1T1vC3ae20gKQ 提取码:11b6 复制这段内容打开「百度网盘APP 即可获取」 1、解压VMwar…

探索大数据在信用评估中的独特价值

随着我国的信用体系越来越完善&#xff0c;信用将影响越来越多的人。现在新兴的大数据信用和传统信用&#xff0c;形成了互补的优势&#xff0c;大数据信用变得越来越重要&#xff0c;那大数据信用风险检测的重要性主要体现在什么地方呢?本文将详细为大家介绍一下&#xff0c;…

深度学习 --- stanford cs231学习笔记三(卷积神经网络CNN)

卷积神经网络CNN 1&#xff0c;有效的利用了图像的空间信息/局部感受野 全连接神经网络中的神经是由铺平后的所有像素计算决定。 由于计算时是把图像的所有像素拉成了一条线&#xff0c;因此在拉伸的同时也损失了图像像素之间固有的空间信息。 卷积层中的神经只由5x5x3(假设fil…

4-字符串-11-反转字符串-LeetCode344

4-字符串-11-反转字符串-LeetCode344 LeetCode: 题目序号344 更多内容欢迎关注我&#xff08;持续更新中&#xff0c;欢迎Star✨&#xff09; Github&#xff1a;CodeZeng1998/Java-Developer-Work-Note 技术公众号&#xff1a;CodeZeng1998&#xff08;纯纯技术文&#xff0…

基于Python+OpenCV+SVM车牌识别系统(GUI界面)【W3】

简介&#xff1a; 随着交通管理的日益复杂化和智能化需求的增加&#xff0c;车牌识别系统在安防、智慧交通管理等领域中扮演着重要角色。传统的车牌识别系统主要基于图像处理和模式识别技术&#xff0c;随着计算机视觉技术的发展&#xff0c;基于Python、OpenCV和机器学习算法的…