Llama 3 ——开源大模型Llama 3从概念到使用

概述

Meta公司自豪地宣布推出其最新的开源大型语言模型——Llama 3,这是一款专为未来AI挑战而设计的先进工具。Llama 3包含两个不同参数规模的版本,以满足多样化的计算需求:

  • 8B版本:优化了在消费级GPU上的部署和开发流程,使得个人开发者和小型团队也能轻松利用其强大的语言处理能力。
  • 70B版本:为大规模AI应用量身定制,提供了无与伦比的处理能力和深度学习能力。

即将到来的广泛平台支持

Llama 3模型预计将在一系列顶尖的云服务平台和AI技术提供商中推出,包括AWS、Databricks、Google Cloud等。此外,该模型也将得到AMD、AWS、Dell、Intel、NVIDIA以及高通等硬件制造商的全面支持。

性能提升与新特性

Llama 3模型将带来一系列创新特性,包括:

  • 新功能:增强模型的功能性,以适应更广泛的应用场景。
  • 更长的上下文窗口:提升模型对长文本的理解能力。
  • 额外的模型大小:提供更多参数选项,以适应不同规模的AI任务。
  • 增强的性能:在各项任务中提供更快的处理速度和更高的准确率。

Meta还将分享Llama 3的详细研究论文,以促进更广泛的学术交流和技术发展。

性能指标与人类评估集

为了全面评估Llama 3的性能,Meta开发了一套新的高质量人类评估集,包含1,800个精心设计的提示,覆盖12个关键用例,包括但不限于:

  • 寻求建议
  • 头脑风暴
  • 分类
  • 封闭式问答
  • 编码
  • 创意写作
  • 提取
  • 塑造角色/角色
  • 开放式问答
  • 推理
  • 重写
  • 总结

评估结果
在这里插入图片描述

Llama 的演变:从 Llama 2 到 Llama 3

Meta的首席执行官马克·扎克伯格宣布,公司最新开发的人工智能模型Llama 3现已开源,这一举措标志着Meta在AI领域的最新进展。Llama 3旨在提升Meta旗下包括Messenger和Instagram在内的多个产品,使其成为全球领先的AI助手之一。

Llama 2的回顾与Llama 3的进步

Llama 2模型于两年前推出,作为开源Llama系列的一个重要里程碑,它提供了一个既强大又高效的模型,能够在消费级硬件上运行。尽管Llama 2取得了显著成就,但它也存在一些局限性,包括用户报告的错误拒绝问题、有限的帮助范围,以及在推理和代码生成方面需要改进的地方。

Llama 3: Meta的创新回应

针对这些挑战和社区的反馈,Meta通过Llama 3进行了回应。Meta的目标是构建一个能与当今市场上顶级专有模型相媲美的开源模型,同时将负责任的开发和部署实践放在首位。

Llama 3的推出,不仅代表了Meta在AI技术上的飞跃,也体现了公司对于开放创新和社区协作的承诺。随着Llama 3的开源,研究人员、开发者和AI爱好者现在可以访问这一先进的模型,共同推动人工智能技术的发展。

Llama 3:架构与训练

Meta的Llama 3模型在人工智能领域带来了显著的技术突破。其中一项创新是其分词器,它显著扩展了词汇量至128,256个令牌,相较于Llama 2的32,000个令牌,这是一个巨大的跃升。这种词汇量的增加不仅意味着模型能够更精细地理解和生成文本,而且也极大地增强了其多语言处理能力,从而提升了整体性能。

此外,Llama 3还引入了分组查询注意力(Grouped Query Attention, GQA)技术。这是一种先进的表示方法,它通过提高模型的可扩展性,帮助其更有效地处理更长的文本序列。特别是,Llama 3的8B版本采用了GQA技术,而8B和70B模型均能够处理长达8,192个令牌的序列。

这些创新不仅展示了Meta在AI技术上的领导地位,也预示着Llama 3将为各种应用场景带来前所未有的性能提升。无论是在理解复杂查询、生成创意内容,还是在多语言支持方面,Llama 3都展现了其强大的潜力。

训练数据和扩展

Llama 3 使用的训练数据是其性能提升的关键因素。 Meta 策划了超过 15万亿 来自公开在线资源的令牌,比 Llama 2 使用的数据集大七倍。该数据集还包括很大一部分(超过 5%)的高质量非英语数据,涵盖超过 30语言,为未来的多语言应用做准备。

为了确保数据质量,Meta 采用了先进的过滤技术,包括启发式过滤器、NSFW 过滤器、语义重复数据删除和在 Llama 2 上训练的文本分类器来预测数据质量。该团队还进行了广泛的实验,以确定预训练数据源的最佳组合,确保 Llama 3 在各种用例中表现良好,包括琐事、STEM、编码和历史知识。

扩大预训练规模是 Llama 3 开发的另一个关键方面。 Meta 开发了缩放法则,使他们能够在实际训练之前预测最大模型在代码生成等关键任务上的性能。这为数据混合和计算分配的决策提供了信息,最终导致更高效和有效的培训。

Llama 3 最大的模型在两个定制的 24,000 个 GPU 集群上进行训练,利用数据并行化、模​​型并行化和管道并行化技术的组合。 Meta 的高级训练堆栈可自动检测、处理和维护错误,从而最大限度地延长 GPU 正常运行时间,并将训练效率比 Llama 2 提高约三倍。

指令微调和性能

为了充分发挥 Llama 3 在聊天和对话应用程序方面的潜力,Meta 创新了其指令微调方法。其方法结合了 监督微调 (SFT),拒绝采样, 近端政策优化 (PPO),以及 直接偏好优化 (数据保护办公室)。

SFT 中使用的提示的质量以及 PPO 和 DPO 中使用的偏好排名对于对齐模型的性能起着至关重要的作用。 Meta 的团队精心整理了这些数据,并对人类注释者提供的注释进行了多轮质量保证。

通过 PPO 和 DPO 进行偏好排名训练也显着提高了 Llama 3 在推理和编码任务上的表现。 Meta 发现,即使模型难以直接回答推理问题,它仍然可能产生正确的推理轨迹。对偏好排名的训练使模型能够学习如何从这些痕迹中选择正确的答案。

[竞技场结果

结果不言而喻:Llama 3 在常见行业基准上优于许多可用的开源聊天模型,在 8B 和 70B 参数范围内为法学硕士建立了新的最先进的性能。

](https://www.unite.ai/wp-content/uploads/2024/04/aggregated-results-of-our-human-evaluations-across-of-these-categories-and-prompts-against-Claude-Sonnet-Mistral-Medium-and-GPt.png)

负责任的开发和安全考虑

在追求尖端性能的同时,Meta 还优先考虑了 Llama 3 的负责任的开发和部署实践。该公司采用了系统级方法,将 Llama 3 模型设想为更广泛的生态系统的一部分,让开发人员处于主导地位,使他们能够设计并根据其特定用例和安全要求定制模型。
![](https://img-blog.csdnimg.cn/img_convert/50dee8935459da44d3fd791fd120b7fa.png

Meta 进行了广泛的红队演习,进行了对抗性评估,并实施了安全缓解技术,以降低其指令调整模型中的残余风险。然而,该公司承认残余风险可能仍然存在,并建议开发人员在其特定用例的背景下评估这些风险。

为了支持负责任的部署,Meta 更新了其负责任的使用指南,为开发人员为其应用程序实施模型和系统级安全最佳实践提供了全面的资源。该指南涵盖内容审核、风险评估以及 Llama Guard 2 和 Code Shield 等安全工具的使用等主题。

Llama Guard 2 基于 MLCommons 分类法构建,旨在对 LLM 输入(提示)和响应进行分类,检测可能被认为不安全或有害的内容。 Cyber​​SecEval 2 在其前身的基础上进行了扩展,添加了防止滥用模型代码解释器、攻击性网络安全功能以及对提示注入攻击的敏感性的措施。

Code Shield 是 Llama 3 的新功能,增加了对 LLM 生成的不安全代码的推理时过滤,从而减轻与不安全代码建议、代码解释器滥用和安全命令执行相关的风险。

访问和使用 Llama 3

随着 Meta AI 的 Llama 3 的推出,多个开源工具已经可以在各种操作系统上进行本地部署,包括 Mac、Windows 和 Linux。本节详细介绍了三个值得注意的工具:Ollama、Open WebUI 和 LM Studio,每个工具都提供了在个人设备上利用 Llama 3 功能的独特功能。

奥拉马:适用于 Mac、Linux 和 Windows, 奥拉马 简化了 Llama 3 和其他大型语言模型在个人计算机上的操作,即使是那些硬件不太强大的计算机。它包括一个包管理器,可轻松管理模型,并支持跨平台下载和运行模型的命令。

使用 Docker 打开 WebUI:该工具提供了一个用户友好的、 码头工人基于接口,与 Mac、Linux 和 Windows 兼容。它与 Ollama 注册表中的模型无缝集成,允许用户在本地 Web 界面中部署 Llama 3 等模型并与之交互。

LM工作室:针对 Mac、Linux 和 Windows 上的用户, LM工作室 支持一系列模型,并基于 llama.cpp 项目构建。它提供聊天界面并促进与各种模型的直接交互,包括 Llama 3 8B Instruct 模型。

这些工具确保用户可以在其个人设备上高效地使用 Llama 3,满足一系列技术技能和要求。每个平台都提供了设置和模型交互的分步流程,使开发人员和爱好者更容易使用高级人工智能。

大规模部署 Llama 3

除了提供对模型权重的直接访问之外,Meta 还与各种云提供商、模型 API 服务和硬件平台合作,以实现 Llama 3 的大规模无缝部署。

Llama 3 的主要优势之一是通过新的分词器提高了代币效率。基准测试显示 Llama 3 需要多达 代币减少 15% 与 Llama 2 相比,推理速度更快且更具成本效益。

尽管参数数量有所增加,但在 8B 版本的 Llama 3 中集成分组查询注意力(GQA)有助于保持与 7B 版本的 Llama 2 相当的推理效率。

为了简化部署过程,Meta 提供了 Llama Recipes 存储库,其中包含开源代码以及用于微调、部署、模型评估等的示例。对于希望在其应用程序中利用 Llama 3 功能的开发人员来说,该存储库是宝贵的资源。

对于那些有兴趣探索 Llama 3 性能的人,Meta 已将其最新模型集成到 Meta AI 中,Meta AI 是一款采用 Llama 3 技术构建的领先人工智能助手。用户可以通过各种 Meta 应用程序(例如 Facebook、Instagram、WhatsApp、Messenger 和网络)与 Meta AI 进行交互,以完成工作、学习、创建和连接对他们来说重要的事物。

骆驼 3 的下一步是什么?

虽然 8B 和 70B 型号标志着 Llama 3 版本的开始,但 Meta 对这一开创性的 LLM 的未来制定了雄心勃勃的计划。

在接下来的几个月中,我们预计会看到新功能的推出,包括多模态(处理和生成不同数据模态的能力,例如图像和视频)、多语言(支持多种语言)以及更长的上下文窗口以增强性能需要广泛背景的任务。

此外,Meta 计划发布更大的模型规模,包括具有超过 400 亿个参数的模型,这些模型目前正在训练中,并在性能和功能方面显示出有希望的趋势。

为了进一步推进该领域的发展,Meta 还将发布有关 Llama 3 的详细研究论文,与更广泛的人工智能社区分享其发现和见解。

作为对未来的预览,Meta 分享了其最大的 LLM 模型在各种基准测试中的性能的一些早期快照。虽然这些结果基于早期检查点并且可能会发生变化,但它们让我们对 Llama 3 的未来潜力有了令人兴奋的了解。

结论

Llama 3 代表了开源大型语言模型发展的一个重要里程碑,突破了性能、功能和负责任的开发实践的界限。凭借其创新的架构、海量的训练数据集和尖端的微调技术,Llama 3 为 8B 和 70B 参数尺度的法学硕士建立了新的最先进基准。

然而,Llama 3 不仅仅是一个强大的语言模型;它还是一个强大的语言模型。这证明了 Meta 致力于培育开放、负责任的人工智能生态系统的承诺。通过提供全面的资源、安全工具和最佳实践,Meta 使开发人员能够充分利用 Llama 3 的潜力,同时确保根据其特定用例和受众进行负责任的部署。

随着 Llama 3 之旅的继续,新的功能、模型大小和研究成果即将出现,人工智能社区热切地等待着这一突破性的法学硕士无疑将出现的创新应用和突破。

无论您是突破自然语言处理界限的研究人员、构建下一代智能应用程序的开发人员,还是对最新进展感到好奇的人工智能爱好者,Llama 3 都有望成为您武器库中的强大工具,为您打开新的大门,解锁一个充满可能性的世界。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/584426.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

初识MVC

初识MVC 理论部分 今天第一次学MVC,拿到一个练手项目。现在来记录一下学习过程。 项目的背景就是个学生管理系统。我只做后端。 从大的来说MVC将应用程序分为三个主要组件(部分): 模型(Model)是应用程序…

SGP.31-05

6.1.1 eIM触发下载过程 6.1.2 eIM Initiated Direct Profile Download with SM-DS 在文档的“6.1.2 eIM 发起的通过 SM-DS 的直接配置文件下载”部分,描述了两种直接从 SM-DP 到 eUICC 的配置文件下载选项。以下是每个步骤的概述: ### 开始条件&…

​基于Python的在线自主评测系统(django)​

基于Python的在线自主评测系统(django) 开发语言:Python 数据库:MySQL所用到的知识:Django框架工具:pycharm、Navicat、Maven 学生功能模块的实现 学生注册的实现 学生登录界面首页 在线考试界面 考试成绩查看界面 教师功能模块的实现 新建…

以全栈智算拥抱生态,为AIGC种一棵向上生长的巨榕

榕树,被称为百木之王。它既有极深的根,又有繁茂的叶。只要一棵榕树长成,就能够独木成林,遮天蔽日。更可贵的是,榕树可以为树荫下繁茂的生态提供支撑,形成“一榕生,万物长”的格局。 开年以来&am…

MySQL中SELECT语句的执行过程

2.1.1. 一条SELECT语句的执行过程 MySQL 的架构共分为两层:Server 层和存储引擎层 Server层负责建立连接、分析和执行SQL存储引擎层负责数据的存储和提取,支持 InnoDB、MyISAM、Memory 等多个存储引擎,MySQL5.5以后默认使用InnoDB&#xff0…

set_input_delay的理解

1,set_input_delay约束理解 input_delay是指输入的数据到达FPGA的pad引脚时相对于时钟边沿的延迟有多大,单位是ns,数值可以是正,也可以是负。通过set_input_delay约束告诉编译器输入时钟和输入数据的相位关系。如下图所示假设时钟…

RSA加密---java和node兼容版(可直接复制使用)

目录 背景 实现 一、node代码 1、引入依赖 2、生成公钥和私钥 3、生成工具类 二、java代码 背景 本来项目的后端是node,里面登录接口用的是后端生成RSA公钥和私钥,公钥给前端网页用来加密,node后端解密,一切很和谐&#x…

Flexible布局在Web前端开发中的实际应用

随着Web前端技术的不断发展,Flexible布局(弹性布局)已成为现代网页设计中不可或缺的一部分。它提供了一种高效、灵活的方式来组织和管理页面元素,使开发者能够轻松应对各种复杂的布局需求。本文将通过一个实际的应用案例来介绍Fle…

鸿蒙内核源码分析(汇编基础篇) | CPU在哪里打卡上班

本篇通过拆解一段很简单的汇编代码来快速认识汇编,为读懂鸿蒙汇编打基础.系列篇后续将逐个剖析鸿蒙的汇编文件. 汇编很简单 第一: 要认定汇编语言一定是简单的,没有高深的东西,无非就是数据的搬来搬去,运行时数据主要…

阿里云服务器(Ubuntu22)上的MySQL8更改为大小写不敏感

因为windows上默认的mysql8.0是大小写不敏感的,部署到服务器上之后发现ubuntu默认的是大小写敏感,所以为了不更改代码,需要将mysql数据库设置为大小写不敏感的。 !!!重要一定要做好数据库的备份&#xff0…

【Vue3】openlayers加载瓦片地图并手动标记坐标点

目录 一、创建Vue3项目 二、openlayers加载瓦片地图(引js文件版) 2.1 将以下的文件复制到public下 2.2 index.html引入ol脚本 2.3 删除项目自带的HelloWorld.vue,创建Map.vue 2.4 编码Map.vue 2.5 修改App.vue 2.6 启动项目测试 三、…

与Apollo共创生态:Apollo 7周年大会带给我的启发和心得

Apollo 7周年大会 前不久的Apollo 7周年大会,吸引到我这个对自动驾驶有着浓厚兴趣的开发者,真的精彩,受益匪浅。Apollo 7周年大会展示了Apollo在自动驾驶领域的创新成果,探讨自动驾驶技术的未来发展趋势,并推动自动驾…

关键技术自主可控,中国移动发布大云磐石DPU芯片,速率达400Gbps

4月28日,中国移动在2024算力网络大会上正式发布大云磐石DPU,该芯片带宽达到400Gbps,为国内领先水平,将应用于移动云新一代大云磐石DPU产品,实现关键技术自主可控。 据介绍,DPU是一种专注于数据处理的处理器…

Python多线程并不是真的并行执行

Python多线程虽然能够利用多个CPU核执行计算,但并不能真正执行多线程并行计算。因为在Python中,有一个全局解释锁(GlobalInterpreter Lock,GIL),该锁的存在使得在同一个时间只有一个线程执行任务&#xff0…

KKView远程控制2.0版本发布,TeamViewer面临巨大挑战

KKView远程控制2.0版本发布,TeamViewer面临巨大挑战 近日,备受瞩目的远程控制软件KKView发布了其全新2.0版本,KKView以其独特的创新性和用户友好的设计,为远程办公、远程培训等领域提供了更加高效、便捷的解决方案。 KKView远程…

DVWA靶场

DVWA是指Damn Vulnerable Web Application,是一个用于教育和训练网络安全人员的虚拟漏洞应用程序。DVWA模拟了一个包含了多种常见Web安全漏洞的虚拟环境,包括SQL注入、XSS攻击、CSRF攻击等等。通过使用DVWA,安全人员可以学习和实践各种Web安全…

c#数据库: 8.在窗体上显示学生信息

以上一章学生信息表为例,首先将查询的学生信息存储到数据集中,然后将数据集与数据显示控件绑定,从而实现学生信息在窗体上的显示 (1)创建一个名为StudentGridView的窗体应用程序,为窗体添加一个DataGridVi…

OSI 模型

OSI参考模型包括什么: OSI 参考模型分为七层从下往上分别是:物理层、数据链路层、网络层、传输层、会话层、表示层和应 用层 应用层 : 应用层是 OSI 标准模型的最顶层,是直接为应用进程提供服务的。其作用是在实现多个系统应用…

2024年十五届蓝桥杯省赛大学B组真题(Java完整版)

2024年十五届蓝桥杯省赛大学B组真题(Java) 前言: 赛后一直犹豫要不要对比赛进行复盘出个题解,拖到了现在,终于也是等到比赛结果出来,看到没有辜负个人期望成功取得省一,决定在国赛前对省赛进行…

【网络原理】UDP协议 | UDP报文格式 | 校验和 | UDP的特点 | 应用层的自定义格式

文章目录 一、UDP协议1.UDP的传输流程发送方接收方 2.UDP协议报文格式:长度受限校验和如何校验:CRC算法:循环冗余算法md5算法: 2.UDP的特点 二、开发中常见的自定义格式1.xml(古老)2.json(最流行…