想参与根多多学术讨论,请加qq群
链接直达:00后编程交流qq群
如果想要聊天交友,可以加qq群
链接直达:00后聊天交友处cp 欢迎大家加入
不同于OpenAI的闭源大模型,科技巨头如Google和Meta正积极投入开放模型的开发,以期实现技术上的领先。
2月21日,Google推出了其新一代开放AI模型——Gemma(https://ai.google.dev/gemma)。这款轻量级模型在技术上可与Meta的Llama 2模型相媲美。
从名称上看,新推出的Gemma与Google之前的Gemini模型容易混淆。对此,Google在官方公告中解释道,Gemma的设计灵感来源于Gemini,而拉丁语中的“Gemma”意为“宝石”。两者之间的主要区别如下:
首先,Gemma可以被视为Gemini的更小、更轻量级的版本。
其次,Gemma的设计初衷是为了让开发人员和研究人员更容易访问和使用,而Gemini的设计则更侧重于处理更复杂的任务。
尽管两种模型均可免费使用,但Gemma的免费套餐功能相对有限。
更为重要的是,Gemma模型可以在台式机或笔记本电脑上本地运行。
这款最新的模型提供了两种尺寸选择:Gemma 2B(拥有20亿参数)和Gemma 7B(拥有70亿参数)。每种尺寸都分别有预训练版本和指令调整版本可供使用。
模型权重将以许可商业授权的方式发布,同时 Google 也会发布一个新的负责任的生成式人工智能工具包,指导开发者、研究人员负责任地使用 Gemma 模型。
在 AI 中,参数是神经网络中确定 AI 模型行为的值,权重是存储在文件中的这些参数的子集。
Gemma 的发布,也是 Google 自 2022 年 OpenAI 推出 ChatGPT 以来发布的首个开放式 LLM,但这并不是 Google 对开放式 AI 研究的第一个贡献。在官方博客中,Google AI 团队表示, 其在过去带来了 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold 和 AlphaCode 等重要的 AI 架构和工具集。
所以这一次,其也为所有主要框架提供推理和监督微调 (SFT) 工具链:JAX、PyTorch 和 TensorFlow(通过本地 Keras 3.0)。
还有随时可用的 Colab 和 Kaggle 笔记本,以及与 Hugging Face、MaxText 和 NVIDIA NeMo 和 TensorRT-LLM 等流行工具进行了集成,方便开发者更容易上手使用 Gemma。
经过预训练和指令调整的 Gemma 模型可在笔记本电脑、工作站或 Google Cloud 上运行,并能够部署在 Vertex AI 和谷歌 Kubernetes Engine 上。
除此之外,英伟达在今天宣布与 Google 合作,在包括本地 RTX AI PC 在内的所有英伟达 AI 平台上启动优化,用来加速 Gemma 的性能。
同尺寸下,最先进的性能
当然新模型的发布,难免要和业界已存在的大模型一较高下。Google 在发布一份 16 页的 Gemma 技术报告时,将其与 Meta 的 LLaMA 2(7B)、LLaMA 2(13B),以及 Mistral(7B)进行了性能对比。
Google 表示,“Gemma 2B 和 7B 与其他开放式模型相比,在其规模上实现了同类最佳的性能。”
Gemma 技术报告评测结果如下:
从学术基准角度来看,Gemma 7B 在数学、Python 代码生成、常识和常识推理任务的几个基准测试中,优于 Meta 的 Llama 2 7B 和 13B 模型。
详细来看,在 MMLU 基准测试中,Gemma 7B 模型不仅超过了所有规模相同或更小的开源模型,还超过了一些更大的模型,包括 Llama 2 13B。
Google:Gemma 是负责任的设计
对于 AI 模型的发布,Google 一直采取比较谨慎的态度。
这一次,Google 也特别强调,「Gemma 的设计是将 AI 原则放在首位。为了使 Gemma 预训练模型安全可靠,Google 使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外,他们还使用了大量的微调和人类反馈强化学习(RLHF),使指令调整模型与负责任的行为保持一致。为了了解并降低 Gemma 模型的风险,我们进行了严格的评估,包括人工红队、自动对抗测试和危险活动模型能力评估。」
此外,Google 还与 Gemma 一起发布了新的《负责任的生成式人工智能工具包》(https://ai.google.dev/responsible),以帮助开发人员和研究人员优先构建安全、负责任的人工智能应用。该工具包包括:
安全分类:发布 codelab(https://codelabs.developers.google.com/codelabs/responsible-ai/agile-classifiers),可使用最少的示例构建稳健的安全分类器。
调试:带来最新的模型调试工具 LIT(https://codelabs.developers.google.com/codelabs/responsible-ai/lit-gemma#0),可帮助开发者调查 Gemma 的行为并解决潜在问题。
指导:你可以根据 Google 在开发和部署大型语言模型方面的经验,获取模型构建者的最佳实践。
开放模型并不是指开源
最后,在很多专家学者来看,开源和开放权重的人工智能模型是确保聊天机器人透明度和隐私的重要步骤。
不过在发布 Gemma 之际,Google 特别强调了开源和开放模型的区别。其表示,“开放源代码的一个好处是,一旦发布,许可证就赋予用户完全的创作自主权。这为开发人员和最终用户获取技术提供了有力保障。另一个好处是,开放源码技术可以不受限制地进行修改,以适应最终用户的独特使用情况。”
但是 Gemma 遵循的规则是「开放模型」而非开源。开放模型的特点是可以免费获取模型权重,但使用、再分发和变体所有权的条款根据模型的具体使用条款而有所不同,这些条款可能不是基于开源许可证。
Gemma 模型的使用条款规定,个人开发者、研究人员和商业用户均可自由访问和重新分配这些模型。用户还可自由创建和发布模型变体。在使用 Gemma 模型时,开发者同意避免有害使用,这体现了 Google 对负责任地开发人工智能的承诺,同时也增加了对这项技术的使用。
之所以不用开源一词来形容 Gemma 的属性,在 Google 看来,现有的开源概念并不总能直接应用于 AI 系统,这就提出了如何在人工智能中使用开源许可证的问题。Google 所需要做的是,要澄清开源 AI 的概念,并解决衍生作品和作者归属等概念。
以下是修改后的内容:
Gemma 这个名字是否让你感到困惑呢?自从 Gemma 发布以来,它引起了众多 AI 从业者的关注,并有多家媒体将其与 Google 与 Meta 的 LLama 进行对比。
根据网友的分享,他们在 X 社交平台上展示了在 Macbook Pro M1 Max 32G 上安装了 Google 刚刚开源的 LLM gemma-7b 的经历,并表示“gemma-7b 的速度超过了 Llama 13 B”。
以下是他们进行的一个测试示例:
对 Gemma 感兴趣的朋友们,现在可以访问 Google 的官方网站(https://ai.google.dev/gemma)来亲自体验。
最后,回顾过去的三个月,Google 推出了多个产品。先是 Gemini,之后将 Bard 品牌名更名为 Gemini,并推出了更高级的版本 Gemini Advanced(类似于 ChatGPT Plus 的付费服务,请勿与 Gemini Ultra 混淆,该模型可与 OpenAI 的 GPT-4 相提并论)。
紧接着,Google 又推出了 Gemini 1.5,并带来了 Gemini for Workspace。据媒体报道,Google 内部还开发了一款名为“Goose”的产品,它是 Gemini 的后续版本,仅供内部使用,旨在帮助员工更高效地编写代码。
面对这些以“G”开头的名字不断涌现,据 Business Insider 报道,甚至连 Google 内部员工都感到有些无所适从,各种内部员工吐槽的表情包在网络上流传,有人甚至质疑:“哪位 VP 的 OKRs 是以 AI 产品名称的数量来衡量的?”
至此,你能准确分得清 Google 的各种模型吗?对最新发布的开放模型 Gemma 又有何看法?欢迎留言分享。
Google Gemma 官方博客:https://blog.google/technology/developers/gemma-open-models/
技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
使用地址:https://ai.google.dev/gemma
加入我们:
想参与根多多学术讨论,请加qq群
链接直达:00后编程交流qq群
如果想要聊天交友,可以加qq群
链接直达:00后聊天交友处cp 欢迎大家加入