盖茨表示GPT-5不会比GPT-4有太大改进；Intro to Large Language Models

在这里插入图片描述

🦉 AI新闻

🚀 盖茨表示GPT-5不会比GPT-4有太大改进

摘要：比尔·盖茨在与德国《商报》的采访中透露，虽然OpenAI内部有人相信GPT-5会优于GPT-4，但他认为目前的生成式人工智能已经达到极限。盖茨对GPT-5未来的发展并不乐观，他更看好AI Agent，认为它将彻底改变人们使用计算机的方式，甚至能使人们每周只工作3天。然而，盖茨的预测并非总是准确的。

🚀 字节跳动成立专注于AI创新业务的新部门Flow

摘要：字节跳动成立了一个专注于AI创新业务的新部门Flow，已推出两款AI对话类产品并在孵化中多个AI相关创新产品。此举是字节跳动在业务和架构调整中的一部分，还从其他业务单元抽调人员参与新产品开发。字节跳动已布局从模型层到应用层的各个层面。该举措显示字节跳动在AI应用层加速推进的决心。评分：影响力25分、公众兴趣25分、新颖性25分、重要性25分。

🚀 浪潮信息发布开源的“源 2.0”基础大模型

摘要：浪潮信息发布了“源 2.0”基础大模型，并宣布全面开源。该模型通过使用高质量的中英文资料降低了互联网语料内容占比，并采用了基于大模型的数据生产及过滤方法，提升了数据质量。在算力方面，采用非均匀流水并行的方法，让模型在流水并行各阶段的显存占用量分布更均衡。源 2.0 在评测上表现中上水平，并已全面开源，可免费下载使用。

🚀 大模型注意力机制再创新：Meta引入“System 2 Attention”提升准确率27%

摘要：Meta推出了一项新研究，通过调整大模型的注意力机制，命名为“System 2 Attention”（S2A），让模型在解决问题前先把无关信息去除，从而提高准确率。这种机制不需要微调或训练，仅靠Prompt就能使大模型准确率上升27%。研究团队在测试中发现，S2A优化后的模型在准确性和客观性方面都有明显增强，与人工精简的提示词接近。该研究给AI加上了一层“护目镜”，并有可能对人类学习思维模式也有帮助。

🚀 维基百科创始人吉米·威尔士称OpenAI开发的ChatGPT写维基百科文章“很糟糕”

摘要：维基百科创始人吉米·威尔士在接受采访时表示，OpenAI开发的聊天机器人ChatGPT-4在写维基百科文章方面表现糟糕，存在遗漏内容、写错事实并编造来源的问题。威尔士认为，超人类的AI可能需要50年才能实现。不过，他愿意考虑使用AI为维基百科提供服务的可能性，如果有一个AI工具能通过比较维基百科文章和来源找出错误，AI将在减少错误信息方面发挥重要作用。然而，目前还没有具体计划。维基百科愿意与一个开源的免费AI公司合作，但必须符合维基百科原则。

🗼 AI知识

🔥 Transformers在组合任务上的局限性和改进方法

这篇文章讨论了大规模Transformer模型在解决复杂问题时的局限性。虽然Transformer在许多任务上表现出色，但在需要多步骤推理的复合问题上往往失败。研究发现，Transformer的性能随着问题复杂度的增加而下降，而且模型很难完全掌握任务。文章还指出，Transformer在解决问题时往往依赖于表面模式匹配而不是真正的推理能力。作者提出了一些改进Transformer性能的建议，包括使用规划模块和迭代改进方法。