【论文阅读】MOA,《Mixture-of-Agents Enhances Large Language Model Capabilities》

前面大概了解了Together AI的新研究MoA,比较好奇具体的实现方法,所以再来看一下对应的文章论文。

论文:《Mixture-of-Agents Enhances Large Language Model Capabilities》
论文链接:https://arxiv.org/html/2406.04692v1

在这里插入图片描述

这篇文章的标题是《Mixture-of-Agents Enhances Large Language Model Capabilities》,作者们来自 Duke University 和 Together AI,以及 University of Chicago 和 Stanford University。

摘要:
文章提出了一种新的方法,称为 Mixture-of-Agents(MoA),利用多个大型语言模型(LLMs)的集体优势来提高自然语言理解和生成任务的性能。MoA 方法通过构建分层的 MoA 架构,每层包含多个 LLM Agents,每个Agent使用前一层所有Agents的输出作为辅助信息来生成其响应。MoA 模型在 AlpacaEval 2.0、MT-Bench 和 FLASK 等基准测试中取得了最先进的性能,超越了 GPT-4 Omni。

解决的问题:
文章解决的问题是如何有效地结合多个大型语言模型(LLMs)的专长,以创建一个更加强大和稳健的模型。尽管存在许多 LLMs 并在多个任务上取得了令人印象深刻的成就,但它们仍然面临着模型大小和训练数据的固有限制。此外,不同的 LLMs 具有不同的优势和专门化的任务方面,如何利用这些多样化的技能集是一个挑战。

主要方法:

  • Mixture-of-Agents(MoA)方法论: 提出了 MoA 方法,通过迭代过程利用多个 LLMs 来逐步提高生成质量。MoA 结构如图 2 所示,具有 l 层,每层 i 包含 n 个 LLMs,表示为 Ai,1, Ai,2, …, Ai,n。每一层的 LLMs 独立生成对给定提示的响应,并将这些响应呈现给下一层的Agent进行进一步的细化。
  • 代理角色的区分: 在合作过程中,LLMs 可以分为两种不同的角色:提议者(Proposers)擅长生成其他模型使用的有用参考响应;聚合者(Aggregators)则擅长将来自其他模型的响应综合成单一的高质量输出。
  • 性能指标和多样性考虑: 为了确保模型之间的有效协作并提高整体响应质量,选择每一层 MoA 的 LLMs 是至关重要的。选择过程主要基于两个标准:(a) 性能指标:模型在第 i 层的平均胜率在确定其是否适合包含在第 i + 1 层中起着重要作用;(b) 多样性考虑:模型输出的多样性同样重要,异构模型生成的响应比相同模型产生的响应贡献更大。
  • 评估和实验: 作者使用 AlpacaEval 2.0、MT-Bench 和 FLASK 等基准测试对 MoA 进行了全面评估,证明了所提出方法的显著改进。

文章的贡献包括提出了一个新颖的框架,发现了语言模型之间的协作性,并通过使用多个高度竞争的基准测试,实现了最先进的 LLM 性能。

1 Introduction

大型语言模型(LLMs)近年来在自然语言理解和生成领域取得了显著进展。这些模型在大量数据上进行预训练,然后与人类偏好对齐,以生成有用和连贯的输出。然而,尽管有众多的LLMs和它们令人印象深刻的成就,它们仍然面临着模型大小和训练数据的固有限制。进一步扩大这些模型的规模异常昂贵,通常需要在数万亿个token上进行广泛的重新训练

与此同时,不同的LLMs拥有独特的优势,并在各种任务方面专业化。例如,一些模型擅长于复杂指令的跟随,而其他模型可能更适合于代码生成。不同LLMs之间技能组合的多样性提出了一个有趣的问题:我们能否利用多个LLMs的集体专业知识来创建一个更强大、更稳健的模型?

我们对这个问题的答案是肯定。我们发现了一个我们称之为LLMs的协作性的本质现象——当一个LLM在呈现其他模型的输出时,即使这些其他模型本身能力较差,也倾向于生成更好的响应。图1展示了在AlpacaEval 2.0基准测试中,6个流行的LLMs的LC胜率提高的情况。
在这里插入图片描述

当模型被提供了其他模型独立生成的答案时,它们的LC胜率显著提高。这表明协作现象在LLMs中普遍存在。值得注意的是,即使其他模型提供的辅助响应质量低于单个LLM独立生成的响应,这种改进也会发生。

基于这一发现,本文介绍了一种Mixture-of-Agents(MoA)方法论,利用多个LLMs来迭代地提高生成质量。MoA的结构如图2所示。最初,第一层中的LLMs,记为代理A1,1 …A1,n,独立地对给定的提示生成响应。然后,这些响应被呈现给下一层的代理A2,1 …A2,n(这些代理可能重用了第一层的模型)进行进一步的改进。这种迭代细化过程持续进行几个周期,直到获得一个更加稳健和全面响应。
在这里插入图片描述
为了确保模型之间的有效协作并提高整体响应质量,为每个MoA层仔细选择LLM至关重要。该选择过程由两个主要标准指导:(a)性能指标:层中模型的平均胜率𝑖在决定它们是否适合包含在𝑖+1层中起着重要作用。因此,根据其已证明的性能指标选择模型可确保更高质量的输出。(b) 多样性考虑因素:模型产出的多样性也至关重要。异构模型产生的响应比同一模型产生的反应贡献大得多。通过利用这些标准——性能和多样性——MoA旨在通过协作综合来缓解单个模型的不足,并提高整体响应质量。

我们使用AlpacaEval 2.0、MT Bench、FLASK基准进行综合评估,以评估各个维度的响应质量。结果表明,我们提出的方法有了实质性的改进,在AlpacaEval 2.0上实现了65.8%的新SOTA获胜率,而GPT-4 Omni之前实现了57.5%的最佳获胜率。

这项工作的贡献总结如下:(1)新颖的框架:提出了一个混合Agents框架,旨在利用多个LLM的优势,从而提高它们的推理和语言生成能力。(2) 语言模型的协作性发现:我们强调了LLM之间的继承协作性,当模型能够访问其他模型的输出时,即使这些输出的质量较低,它们也倾向于生成质量更好的响应。(3) 最先进的LLM性能:我们使用多个极具竞争力的基准进行了广泛的实验,如AlpacaEval 2.0、MT Bench和FLASK;我们的MoA框架在这些基准上实现了最先进的性能。

2 Mixture-of-Agents Methodology

在本节中介绍了我们提出的利用多个模型实现增强性能的方法论。我们首先展示了LLMs具有协作性,因此它们可以根据其他模型的输出改进自己的响应。在此之后,我们介绍了Mixture-of-Agents方法论,并讨论了其设计含义。

2.1 LLMs的协作性
首先展示了LLMs的协作性,特别是它们在能够引用其他模型的输出时生成更高质量响应的能力。正如我们在引言和图1中所示,许多现有的LLMs展示了这种协作能力。

从多个LLMs的协作中提取最大利益的一个重要途径是描述不同模型在协作的各个方面的优势。在协作过程中,我们可以将LLMs分为两个不同的角色:

  • 提议者(Proposers)擅长生成其他模型使用的有用参考响应。一个好的提议者可能本身不一定会生成高分响应,但它应该提供更多的背景和多样化的视角,最终有助于通过聚合器使用时产生更好的最终响应。
  • 聚合器(Aggregators)是精通于将其他模型的响应综合成单一高质量输出的模型。一个有效的聚合器即使在整合比自己的质量低的输入时也应该保持或提高输出质量。

第3.3节通过实证验证了聚合器和提议者的角色。具体来说,我们展示了许多LLMs既具备作为聚合器也具备作为提议者的能力,而某些模型在不同角色中表现出特殊的专业能力。GPT-4o、Qwen1.5、LLaMA-3作为多功能模型在协助和聚合任务中表现有效。相比之下,WizardLM作为提议者模型表现出色,但在将其他模型的响应聚合时却难以保持其有效性。

鉴于聚合器可以通过利用其他模型的输出生成更高质量的响应,我们提出通过引入额外的聚合器来进一步增强这种协作潜力。一个直观的想法是使用多个聚合器复制这个练习——最初使用几个聚合器聚合更好的答案,然后重新聚合这些聚合的答案。通过将更多的聚合器纳入过程中,我们可以迭代地综合和细化响应,利用多个模型的优势产生更好的结果。这导致了我们提出的Mixture-of-Agents的设计。

2.2 Mixture-of-Agents
MoA的结构如图2所示。它有l层,每层i由n个LLMs组成,记为Ai,1, Ai,2, …, Ai,n。需要注意的是,LLMs可以在同层或不同层中重用。当一层中的许多LLMs相同时,这种配置导致了一个特殊结构,即模型生成多个可能不同的输出(由于温度采样的随机性)。我们将此设置称为单提议者,其中只有少量模型被激活。

在这里,每个LLM Ai,j 处理一个输入文本并生成其续篇。我们的方法不需要任何微调,只使用LLMs的提示和生成接口。正式地,给定输入提示x1,第i层MoA的输出yi可以表示如下:
在这里插入图片描述
其中,+ 表示文本的连接;⊕ 表示应用表1所示的聚合和合成提示应用于这些模型输出。
在这里插入图片描述
表1提示:
您已经获得了来自各种开源模型的一组对最新用户查询的响应。您的任务是将这些响应综合成一个单一的、高质量的响应。批判性地评估这些回复中提供的信息至关重要,认识到其中一些信息可能存在偏见或不正确。您的回答不应简单地复制给定的答案,而应提供对说明的精致、准确和全面的回复。确保您的回复结构合理、连贯一致,并遵守准确性和可靠性的最高标准。

来自模型的回应:

  1. [模型Ai,1的响应]
  2. [模型Ai,2的响应]
    ……
    n. [模型Ai,n的响应]

在实践中,我们不需要将提示和所有模型响应连接起来,所以在最后一层只需要使用一个LLM。因此,我们使用第l层的LLM的输出(Al,1(xl))作为最终输出,并基于它评估指标。

2.3 与专家混合的类比
专家混合(MoE)是机器学习中一种著名且成熟的方法,其中多个专家网络专门用于不同的技能集。MoE方法由于其利用不同模型能力解决复杂问题的能力,在各种应用中显示出显著的成功。MoA方法从这种方法中汲取灵感。

一个典型的MoE设计由称为MoE层的层堆叠组成。每层包括一组n个专家网络以及一个门控网络,并包括改进梯度流的残差连接。正式地,对于第i层,这个设计可以表示为:
在这里插入图片描述
其中 Gi,j 表示对应专家j的门控网络的输出,Ei,j 表示专家网络j计算的函数。利用多个专家允许模型学习不同的技能集,并专注于手头任务的各个方面。

从高层次角度来看,我们提出的MoA框架通过在模型级别而不是激活级别上操作,将MoE概念扩展到模型级别。具体来说,我们的MoA方法利用LLMs,并且完全通过提示接口操作,而不需要修改内部激活或权重。这意味着,与MoE中的单个模型内具有专门子网络不同,我们在不同层中使用多个成熟的LLMs。请注意,在我们的方法中,我们使用LLMs整合了门控网络和专家网络的角色,因为LLMs的内在能力使它们能够通过解释提示和生成连贯的输出来有效地调节输入,而不需要外部协调机制。

此外,由于这种方法仅依赖于现成模型中固有的提示能力:(1) 它消除了微调所带来的计算开销;(2) 它提供了灵活性和可扩展性:我们的方法可以应用于最新的LLMs,无论其大小或架构如何。

3 Evaluation

简单看一下这章的主要内容:
1、基准测试:作者使用AlpacaEval 2.0、MT-Bench和FLASK等基准测试来评估提出的Mixture-of-Agents(MoA)方法。这些测试用于全面评估方法的性能,并与现有的最先进语言模型进行比较。

2、性能提升:MoA方法在AlpacaEval 2.0上取得了显著的性能提升,达到了新的最高胜率65.8%,相比之前的最佳模型GPT-4 Omni的57.5%有了显著提高。

3、模型配置:作者构建了默认的MoA配置,仅使用开源模型就实现了有竞争力的性能。MoA由三层组成,每层使用同一组模型,并且在最后一层使用Qwen1.5-110B-Chat作为聚合器。

4、变体:除了标准MoA,作者还开发了两个变体,MoA w/ GPT-4o和MoA-Lite。MoA w/ GPT-4o在最终MoA层使用GPT-4o作为聚合器,以优先考虑高质量的输出。MoA-Lite则更注重成本效益,使用较少的层数和较小的聚合器模型,尽管如此,它在AlpacaEval 2.0上的性能仍然比GPT-4 Omni高出1.8%。

5、结果:在AlpacaEval 2.0的详细结果中,MoA方法在排行榜上名列前茅,显示出比GPT-4o模型8.2%的绝对改进。MoA-Lite即使采用更轻量的方法,也实现了1.8%的质量提升。

6、MT-Bench和FLASK:在MT-Bench上,尽管改进幅度相对较小,但MoA方法仍然保持了领先地位。FLASK提供了更细粒度的评估,MoA在多个关键领域表现出显著的改进,尤其是在稳健性、正确性、效率、事实性、常识性、洞察力和完整性方面。

7、内部机制分析:作者进行了实验来更好地理解MoA的内部机制,包括模型如何利用其他模型的输出来生成更高质量的响应,以及聚合器如何有效地整合不同模型的输出。

8、成本和Token分析:作者还进行了预算和Token分析,以理解预算、Token使用和LC胜率之间的关系,并讨论了MoA方法的成本效益。

9、结论:MoA方法通过迭代聚合模型响应,利用多个代理的集体优势,显著提高了每个单独模型的输出质量。作者还讨论了MoA设计的改进方向,以及如何通过系统优化MoA架构来进一步提升性能。

10、局限性和更广泛的影响:作者指出MoA方法需要迭代聚合模型响应,可能导致高Time to First Token (TTFT),影响用户体验。提出了减少MoA层数等解决方案,并讨论了提高模型解释性,更好地与人类推理对齐的潜力。
在这里插入图片描述
图3展示了FLASK评估结果,其中使用了6个提议者(proposer)的MoA(Mixture-of-Agents)设置,并且Qwen1.5-110B-Chat作为聚合器(aggregator)。FLASK是一个细粒度的评估工具,它可以从多个维度来评估语言模型的性能

什么使代理混合(Mixture-of-Agents)工作良好?

作者进行了实验,以便更好地理解Mixture-of-Agents(MoA)的内部机制。总结了以下关键见解:

MoA显著优于LLM排名器。首先,将MoA与基于LLM的排名器进行了比较,该排名器使用聚合器模型从提议者生成的答案中选择一个,而不是生成一个新的输出。结果显示MoA方法显著优于LLM排名器基线。MoA胜过排名方法的事实表明,聚合器不仅仅从提议者生成的答案中选择一个,而且可能对所有提议的生成进行了复杂的聚合。

MoA倾向于结合最佳提议答案。将聚合器的响应与提议者的响应通过相似性分数进行了比较,例如BLEU(Papineni等人,2002),这反映了n-gram的重叠。在每个样本中,给定提议者提出的n个答案,作者计算了n个相似性分数和GPT-4基础评估器确定的n个偏好分数之间的Spearman等级相关系数。图4中的结果确实证实了胜率和BLEU分数之间存在正相关。作者还提供了使用Levenshtein相似性(RapidFuzz,2023)或TF-IDF而不是BLEU分数的结果在附录A中,其中两种替代的文本相似性方法也与偏好分数产生了正相关。

模型多样性和提议者数量的影响。我们分析了提案数量如何影响最终输出质量,结果显示分数随着n单调增加,反映了拥有更多辅助信息的好处。此外,我们还量化了使用各种 LLM 作为提议者的影响。我们比较了两个设置:“single-proposer”,响应由同一 LLM 生成,其中温度为0.7; 以及“多提议者”,其中每个响应都由不同的 LLM 生成。 总体而言,使用多个不同的 LLM 始终会产生更好的结果。这两个结果都表明,在每个 MoA 层中拥有更多不同的 LLM 代理可以提高性能。进一步扩大MoA的宽度是未来研究的一个有希望的方向。

模型在MoA生态系统中的专业化。我们还进行了实验,以确定哪些模型在特定角色中表现出色。具体来说,GPT-4o、Qwen、LLaMA-3作为在协助和聚合任务中都有效的多功能模型脱颖而出。相比之下,WizardLM作为提议者模型表现出色,但在从其他模型聚合响应时却难以保持其有效性。

4 Related Work

第4章是关于相关工作的讨论,它主要包含以下几个方面的内容:

1、LLM推理能力提升:介绍了近期研究如何通过提示工程(prompt engineering)来优化大型语言模型(LLMs)以适应各种下游任务。特别提到了Chain of Thought (CoT) 提示技术,这是一种线性问题解决方法,每个步骤都建立在前一个步骤之上。

2、自动化CoT提示:讨论了Auto-CoT方法,它通过采样多样化的问题并生成推理链来自动化CoT提示。

3、多步骤推理任务:提到了Fu等人将CoT应用于多步骤推理任务的工作,以及其他一些致力于提高LLMs推理能力的研究。

4、模型集成(Ensemble):探讨了如何通过集成多个模型来提升性能,包括重新排名不同模型的输出以及训练一个路由器来预测给定输入下表现最佳的模型。

4、多代理协作:讨论了使用多个大型语言模型作为代理,通过互动讨论和集体推理来解决问题的研究。这包括了对称和非对称的讨论机制设计,以及加权投票等方法。

5、成本效益:讨论了如何减少使用LLMs的成本,包括采用不同模型的串行方式以及通过集成学习来利用不同模型的优势。

6、相关工作的比较:对上述方法与本文提出的MoA方法进行了比较,指出MoA方法的独特之处在于它利用了多个模型的集体优势,并通过迭代协作来显著提高输出质量。

结论:总结了MoA方法如何通过多样化的模型视角来实现比单一模型更优越的性能,并指出系统优化MoA架构是未来工作的一个有趣方向。

5 Conclusion

结论部分提出了以下几点:

1、MoA方法介绍:本文介绍了一种Mixture-of-Agents(MoA)方法,旨在通过迭代协作的不同阶段来利用多个大型语言模型(LLMs)的能力。该方法利用MoA家族中代理的集体优势,显著提高了每个单独模型的输出质量。

2、实证评估:在AlpacaEval 2.0、MT-Bench和FLASK上进行的实证评估表明,响应质量有了显著提高,其中MoA方法在LC(长度控制)胜率上达到了65%。

3、集成多样视角:这些发现验证了假设,即集成来自不同模型的多样化视角可以带来相比依赖单一模型更优越的性能。

4、MoA设计改进:提供了改进MoA设计见解;MoA架构的系统优化是未来工作的一个有趣方向。

5、局限性:文章提出的方法需要迭代聚合模型响应,这意味着模型不能在最后一层MoA达到之前决定第一个token。这可能导致较高的Time to First Token (TTFT),可能负面影响用户体验。为了缓解这个问题,可以限制MoA层数,因为第一次响应聚合对生成质量有最显著的提升。未来的工作可以探索分块聚合而不是一次性聚合整个响应,这可以在保持响应质量的同时减少TTFT。

6、广泛影响:这项研究有潜力提高由LLM驱动的聊天助手的有效性,从而使AI更加易于访问。此外,由于中间输出以自然语言表示,MoA呈现的改进增强了模型的可解释性。这种增强的可解释性有助于更好地与人类推理对齐。

(欢迎关注公众号:老无谈藏书票)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/724606.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Qt入门小项目 | 实现一个图片查看器

文章目录 一、实现一个图片查看软件 一、实现一个图片查看软件 需要实现的功能: 打开目录选择图片显示图片的名字显示图片 在以上功能的基础上进行优化,需要解决如下问题: 如何记住上次打开的路径? 将路径保存到配置文件中&#x…

天地图(二)引入地图

1、在public下的index.html中引入天地图 <script src"http://api.tianditu.gov.cn/api?v4.0&tk你的密钥"></script> 2、在vue文件中写入 <template><div:id"mapDiv currentIndex"class"map"style"position: a…

VMware 虚拟机共享宿主机文件夹

一、背景 在虚拟机中&#xff0c;需要写文件到宿主机的文件系统中 宿主机的文件共享给虚拟机使用 这些场景就涉及到VM的虚拟机怎么访问宿主机的磁盘文件夹 二、软件背景 宿主机&#xff1a;window机器&#xff0c;本文是win7 虚拟软件&#xff1a;VMware12.5.6&#xff0…

STM32学习记录(八)————定时器输出PWM及舵机的控制

文章目录 前言一、PWM1.工作原理2.内部运作机制3. PWM工作模式4.PWM结构体及库函数 二、PWM控制舵机 前言 一个学习STM32的小白~ 有错误评论区或私信指出提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、PWM 1.工作原理 以向上计数为例&#xff0…

钡铼BL102应用智能电网配电柜PLC转MQTT无线接云服务

在当今智能电网的发展浪潮中&#xff0c;配电系统的智能化升级是提升电网效率与稳定性的重要环节。随着物联网技术的飞速发展&#xff0c;实现配电柜的远程监控与管理成为了可能&#xff0c;而这一转变的关键在于如何有效地将传统配电柜中的PLC数据接入到云端进行分析与处理。 …

ui自动化中,隐式等待和显示等待什么时候使用

隐式等待 在页面刷新加载时&#xff0c;页面元素还没有出来&#xff0c;这个时候如果去找元素就会找不到报错 或者点了一个菜单&#xff0c;页面加载时 用笨办法&#xff0c;就是用sleep等待固定的时间&#xff0c;这种浪费的时间比较多&#xff0c;就可以用隐式等待&#xf…

CleanShot X for Mac v4.7 屏幕截图录像工具(保姆级教程,小白轻松上手,简单易学)

Mac分享吧 文章目录 一、准备工作二、部分特有功能效果1、截图软件的普遍常用功能&#xff08;画框、箭头、加文字等&#xff09;都具备&#xff0c;不再详细介绍2、ABCD、1234等信息标注&#xff08;每按一下鼠标&#xff0c;即各是A、B、C、D...等&#xff09;3、截图更换背…

大语言模型架构---Transformer 模型

文章目录 输入编码多头自注意力机制前馈网络层编码器解码器当前主流的大语言模型都基于 Transformer 模型进行设计的。Transformer 是由多层的多头自注意力(Multi-head Self-attention)模块堆叠而成的神经网络模型。原始的 Transformer 模型由编码器和解码器两个部分构成,而…

KVB外汇:周四英国央行利率决议,英镑跌破1.26支撑的可能性有多大?

摘要&#xff1a; 本文分析了即将到来的英国央行利率决议对英镑汇率可能带来的影响。尽管市场普遍预计央行将维持利率不变&#xff0c;但随着通胀下降&#xff0c;意外降息的可能性仍然存在。文章探讨了汇市的反应预期、技术支撑位的重要性以及可能的货币政策走向&#xff0c;…

线程间通信

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 我们已经知道进程之间不能直接共享信息&#xff0c;那么线程之间可以共享信息吗&#xff1f;我们通过一个例子来验证一下。定义一个全局变量g_num&am…

C++设计模式——Proxy代理模式

一&#xff0c;代理模式简介 代理模式是一种 结构型设计模式&#xff0c;该模式通过引入一个新的代理对象Proxy&#xff0c;来间接访问原始对象&#xff0c;从而使访问方式变得灵活和可控。 代理对象的设定减少了客户端与真实对象之间的直接交互。 通过引入代理对象来间接访问原…

【diffusers 极速入门(二)】如何得到扩散去噪的中间结果?Pipeline callbacks 管道回调函数

本文是对 Hugging Face Diffusers 文档中关于回调函数的翻译与总结&#xff0c;&#xff1a; 管道回调函数 在管道的去噪循环中&#xff0c;可以使用callback_on_step_end参数添加自定义回调函数。该回调函数在每一步结束时执行&#xff0c;并修改管道属性和变量&#xff0c;以…

2024青海三支一扶招1910人7月6日笔试

&#x1f4e2;2024年青海省三支一扶计划招募1910人公告已发布&#xff01; 小&#x1f004;️帮大家整理好了考试关键时间点&#xff1a; ★ 报名时间&#xff1a;6月20日至6月25日 ★ 报名网站&#xff1a;青海省人事考试信息网&#xff08;www.qhpta.com&#xff09; ★ 网上…

每日一练:攻防世界:miao~

给了一张jpg图片 没发现什么特别&#xff0c;放到winhex中查看也没思路。 放到kali里面foremost分离文件试试&#xff0c;结果分离出个wav音频文件 直接放到 audycity看看频谱图 发现字符串&#xff0c;但是没有其他信息。可能是密钥之类的。到这里我就卡住了&#xff0c;看…

vue3面试题八股集合——2024

vue3比vue2有什么优势&#xff1f; 性能更好&#xff0c;打包体积更小&#xff0c;更好的ts支持&#xff0c;更好的代码组织&#xff0c;更好的逻辑抽离&#xff0c;更多的新功能 描述Vu3生命周期 Options API的生命周期&#xff1a; beforeCreate: 在实例初始化之后、数据观…

喜讯!昂辉科技通过2024年度重点产业链企业(第一批)认定

日前&#xff0c;合肥市推进战略性新兴产业发展工作委员会办公室公布了 2024年度重点产业链企业&#xff08;第一批&#xff09;新入库名单&#xff08;集成电路、新型显示、网络与信息安全、城市安全、空天信息、新能源汽车和智能网联汽车、生物医药、新材料、高端装备、节能环…

【PyQt5】一文向您详细介绍 QHBoxLayout() 的作用

【PyQt5】一文向您详细介绍 QHBoxLayout() 的作用 下滑即可查看博客内容 &#x1f308; 欢迎莅临我的个人主页 &#x1f448;这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地&#xff01;&#x1f387; &#x1f393; 博主简介&#xff1a;985高校的普通本硕&a…

【IPython的使用技巧】

&#x1f3a5;博主&#xff1a;程序员不想YY啊 &#x1f4ab;CSDN优质创作者&#xff0c;CSDN实力新星&#xff0c;CSDN博客专家 &#x1f917;点赞&#x1f388;收藏⭐再看&#x1f4ab;养成习惯 ✨希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出…

GLSB是什么?带你深入了解GLSB核心功能

伴随互联网的快速发展&#xff0c;大型企业等组织单位通过建设多数据中心&#xff0c;以提升用户体验。然而想要在多个数据中心实现流量的智能管理&#xff0c;提高网站的可靠性和可用性&#xff0c;则需要全局服务器负载均衡技术——GLSB的助力。GLSB是什么&#xff1f;它又有…