全新AI模型家族登场:完全可复现的开源语言模型OLMo 2

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

本周二,由已故微软联合创始人保罗·艾伦创立的非营利AI研究机构AI2发布了OLMo 2系列模型 (https://allenai.org/olmo),这是其OLMo(Open Language Model,开源语言模型)系列的第二代模型。这一发布引起关注,因为OLMo 2是少数可以完全从头复现的AI模型之一。虽然“开源”语言模型市场已不乏选择(如Meta的Llama),但OLMo 2符合开放源码倡议组织(OSI)对开源AI的定义,即开发所用的工具和数据均为公开可用。

开放源码倡议组织(OSI)是一个长期致力于定义和推广开源标准的机构,其AI开源定义在今年10月最终定稿。而AI2早在今年2月发布的首个OLMo模型便已符合该标准。

“OLMo 2的开发从头到尾采用公开且可访问的训练数据、开源训练代码、可复现的训练方案、透明的评估方法和中间检查点等,”AI2在博客中写道。“通过公开分享数据、方案和研究成果,我们希望为开源社区提供资源,帮助其探索新的创新方法。”

OLMo 2 模型家族亮点

OLMo 2系列包括两个模型:一个具有70亿参数(OLMo 7B),另一个具有130亿参数(OLMo 13B)。参数数量大致反映了模型解决问题的能力,通常参数越多,模型的性能越好。

与大多数语言模型一样,OLMo 2 7B和13B可以执行一系列基于文本的任务,如回答问题、总结文档和编写代码。

为了训练这些模型,AI2使用了包含5万亿个标记的数据集。标记代表原始数据的最小单元;100万个标记大约相当于75万字。训练数据集包括经过质量筛选的网站、学术论文、问答论坛以及“人类生成与合成生成”的数学练习题。

AI2表示,这些训练数据使得OLMo 2模型在性能上与Meta最新的Llama 3.1等开源模型具有竞争力。“与早期的OLMo模型相比,OLMo 2的所有任务性能都有显著提升。值得注意的是,OLMo 2 7B的表现优于Llama 3.1的8B模型,”AI2在声明中写道。“OLMo 2可以说是迄今为止最好的完全开源语言模型。”

完全开源,商用友好

OLMo 2模型及其所有组件可以从AI2官方网站下载,并使用Apache 2.0许可证发布,这意味着它们可以用于商业用途。

不过,最近围绕开源模型的安全性也引发了广泛讨论。例如,Llama模型据称被中国研究人员用于开发军事防御工具。当我在今年2月采访AI2工程师Dirk Groeneveld时,他承认存在滥用的可能性,但他认为开源模型的好处最终大于潜在的风险。

“是的,开源模型可能会被不当使用或用于意料之外的用途,”他表示。“然而,这种方法也促进了技术进步,有助于开发更具伦理性的模型;开源是验证和复现的前提条件,因为只有完全开放才能实现这些目标;同时它还减少了日益集中的权力分配,创造了更公平的访问机会。”

总结

OLMo 2的发布标志着开源AI领域又迈出了一大步。它不仅为开发者提供了一个性能强大的工具,还以其完全可复现的特性和透明化的开发方式树立了开源AI的新标杆。在技术快速发展的今天,这种开放与创新的理念无疑为AI社区注入了更多可能性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/925114.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

探索Python WebSocket新境界:picows库揭秘

文章目录 探索Python WebSocket新境界:picows库揭秘第一部分:背景介绍第二部分:picows库概述第三部分:安装picows库第四部分:简单库函数使用方法第五部分:场景应用第六部分:常见Bug及解决方案第…

Jenkins Nginx Vue项目自动化部署

目录 一、环境准备 1.1 Jenkins搭建 1.2 NVM和Nodejs安装 1.3 Nginx安装 二、Jenkins配置 2.1 相关插件安装 2.2 全局工具安装 2.3 环境变量配置 2.4 邮箱配置(构建后发送邮件) 2.5 任务配置 三、Nginx配置 3.1 配置路由转发 四、部署项目 …

《Python语言程序设计》(2018年版)第15遍刷第1章第1题和第2题

2024.11.28 重新开始刷题 第一章 1.1 print( Welcome to Python Welcome to Computer Science Programming is fun )1.2 text_message "Welcome to Python\n"print(text_message * 5)

认识redis 及 Ubuntu安装redis

文章目录 一. redis概念二. redis应用场景二. redis的特性四. 使用Ubuntu安装redis 一. redis概念 redis 是在内存中存储数据的中间件, 用在分布式系统 redis是客户端服务器结构的程序, 客户端服务器之间通过网络来通信 二. redis应用场景 redis可用作数据库 类似MySQL, 但…

2024年信号处理与神经网络应用(SPNNA 2024)

会议官网:www.spnna.org 会议时间:2024年12月13-15日 会议地点:中国武汉

canal同步数据教程

canal简介 官网:https://github.com/alibaba/canal 主要是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费,是一个实时同步的方案。 基于日志增量订阅和消费的业务包括 数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、…

【网络安全 | 漏洞挖掘】绕过SAML认证获得管理员面板访问权限

未经许可,不得转载。 文章目录 什么是SAML认证?SAML是如何工作的?SAML响应结构漏洞结果什么是SAML认证? SAML(安全断言标记语言)用于单点登录(SSO)。它是一种功能,允许用户在多个服务之间切换时无需多次登录。例如,如果你已经登录了facebook.com,就不需要再次输入凭…

【Redis】Redis介绍

目录 1.Redis是什么? 2. Redis特性 2.1 速度快 2.2 基于键值对的数据结构服务器 2.3 丰富的功能 2.4 简单稳定 2.5 客户端语言多 2.6 持久化 2.7 主从复制 2.8 高可用和分布式 3. Redis使用场景 3.1 缓存(Cache) 3.2 排行榜系统 3.3 计数器应用 3.4 社交网络 …

【HarmonyOS学习日志(10)】一次开发,多端部署之功能级一多开发,工程级一多开发

功能级一多开发 SysCap机制介绍 HarmonyOS使用SysCap机制(即SystemCapability),可以帮助开发者仅关注设备的系统能力,而不用考虑成百上千种具体的设备类型。 在过去,开发不同设备上的应用就用不同设备的SDK进行开发&…

vue3 与 spring-boot 完成跨域访问

spring-boot,写一个接口用于前端访问,并且给接口设置跨域访问,这里我前端的域名为 localhost:5173 RestController CrossOrigin(origins "http://localhost:5173") public class Vue3Controller {GetMapping("/vue")pu…

机器学习-神经网络(BP神经网络前向和反向传播推导)

1.1 神经元模型 神经网络(neural networks)方面的研究很早就已出现,今天“神经网络”已是一个相当大的、多学科交叉的学科领域.各相关学科对神经网络的定义多种多样,本书采用目前使用得最广泛的一种,即“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够…

如何通过智能生成PPT,让演示文稿更高效、更精彩?

在快节奏的工作和生活中,我们总是追求更高效、更精准的解决方案。而在准备演示文稿时,PPT的制作往往成为许多人头疼的问题。如何让这项工作变得轻松且富有创意?答案或许就在于“AI生成PPT”这一智能工具的广泛应用。我们就来聊聊如何通过这些…

丹摩|丹摩智算平台使用教学指南

本指南旨在为新用户提供一个详细的操作步骤和实用的入门指导,帮助大家快速上手丹摩智算平台。 一、平台简介 丹摩智算平台是一款强大的数据分析和计算平台,支持多种编程语言,提供丰富的数据处理和机器学习工具。无论您是数据分析师、开发者…

Python学习第十天--处理CSV文件和JSON数据

CSV:简化的电子表格,被保存为纯文本文件 JSON:是一种数据交换格式,易于人阅读和编写,同时也易于机器解析和生成,以JavaScript源代码的形式将信息保存在纯文本文件中 一、csv模块 CSV文件中的每行代表电…

mini-spring源码分析

IOC模块 关键解释 beanFactory:beanFactory是一个hashMap, key为beanName, Value为 beanDefination beanDefination: BeanDefinitionRegistry,BeanDefinition注册表接口,定义注册BeanDefinition的方法 beanReference:增加Bean…

2024年9月中国电子学会青少年软件编程(Python)等级考试试卷(六级)答案 + 解析

一、单选题 1、下面代码运行后出现的图像是?( ) import matplotlib.pyplot as plt import numpy as np x np.array([A, B, C, D]) y np.array([30, 25, 15, 35]) plt.bar(x, y) plt.show() A. B. C. D. 正确答案:A 答案…

UniApp开发实战:常见报错解析与解决方案

UniApp开发实战:常见报错解析与解决方案 病例1、TypeError: undefined is not an object (evaluating ‘this. s c o p e . scope. scope.getAppWebview’) 需求:获取页面示例,动态修改头部搜索框内容,获取页面实例时候报错unde…

BGP对等体建立方法--实验

目录 实验拓扑图 实验要求: 第一步、IP地址规划 第二步、配置接口IP地址 第三步、AS 200使用IGP OSPF实现网络互通 第四步、建立BGP对等体关系 1、R1与R2使用直连链路建立EBGP关系。 2、R2与R4使环回建立非直连IBGP关系。 3、R4与R5使用环回建立EBGP关系。…

(已解决)wps无法加载此加载项程序mathpage.wll

今天,在安装Mathtype的时候遇到了点问题,如图所示 尝试了网上的方法,将C:\Users\Liai_\AppData\Roaming\Microsoft\Word\STARTUP路径中的替换为32位的Mathtype加载项。但此时,word又出现了问题 后来知道了,这是因为64位…

Vue+Element Plus实现自定义表单弹窗

目录 一、基本框架 1.父组件index.vue 2.子组件FormPop.vue 二、细节补充 1)input、textarea、select、input number 2)daterange、date、monthrange 3)数据定义 4)没改样式的效果 5)最终效果 三、最终代码 …