🌍雷军超钟睒睒登顶中国首富 身家近4400亿元
🎄全球AI大混战升温!超越Sora的阿里万相大模型开源 家用显卡都能跑
✨小米15 Ultra、小米SU7 Ultra定档2月27日 雷军宣布:向超高端进发
1.刚刚!DeepSeek硬核发布!英伟达亦借机突破
DeepSeek又有大动作!
开源周第三天,DeepSeek宣布开源Optimized Parallelism Strategies(优化并行策略)。
Optimized Parallelism Strategies,该策略是为了提高计算效率、减少资源浪费并最大化系统性能而设计的并行计算方案。这些策略通过合理分配任务、协调资源利用和减少通信开销,实现在多核、分布式或异构系统中的高效并行执行。
与此同时,英伟达开源了首个在Blackwell架构上优化的DeepSeek-R1,实现了推理速度提升25倍,并且每token成本降低20倍的惊人成果。这一新模型的推出,标志着英伟达在人工智能领域的又一次重大进展。
动作不断
DeepSeek开源周第四天,今天早上,该公司再度开源优化并行策略,包括DualPipe、专家并行负载均衡器 (EPLB)、DeepSeek Infra 中的性能分析数据。优化并行策略需根据任务类型、数据规模、硬件环境灵活选择,平衡计算、通信和存储开销,最终实现高效、可扩展的并行计算。该策略是为了提高计算效率、减少资源浪费并最大化系统性能而设计的并行计算方案。
最近,DeepSeek硬核不断。此前,该公司宣布将DeepEP向公众开放。在宣布后的约20分钟内,DeepEP已在 GitHub、微软(MSFT.US)等平台上获得超过1000个 Star收藏。
据悉,DeepEP是MoE模型训练和推理的Expert Parallelism通信基础,可实现高效优化的全到全通信,以支持包括FP8在内的低精度计算,适用于现代高性能计算。DeepEP还针对从NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供高吞吐量,还支持流式多处理器数量控制,从而在训练和推理任务中实现高吞吐量性能。
此外,2月26日,DeepSeek宣布即日起在北京时间每日00:30至08:30的夜间空闲时段,大幅下调API调用价格,其中DeepSeek-V3降至原价的50%,DeepSeek-R1更是低至25%,降幅最高达75%。该公司称,这一举措旨在鼓励用户充分利用夜间时段,享受更经济、更流畅的服务体验。
英伟达亦借机突破
近日,英伟达开源了首个在Blackwell架构上优化的DeepSeek-R1,实现了推理速度提升25倍,并且每token成本降低20倍的惊人成果。这一新模型的推出,标志着英伟达在人工智能领域的又一次重大进展。
根据媒体报道,DeepSeek-R1的本地化部署已经引起广泛关注,英伟达也亲自下场,开源了基于Blackwell架构的优化方案——DeepSeek-R1-FP4。这一新模型在推理吞吐量上达到了高达21,088 token每秒,与H100的844 token每秒相比,提升幅度高达25倍。同时,每token的成本也实现了20倍的降低。
英伟达通过在Blackwell架构上应用TensorRT DeepSeek优化,让具有FP4生产级精度的模型,在MMLU通用智能基准测试中达到了FP8 模型性能的99.8%。目前,英伟达基于FP4优化的DeepSeek-R1检查点已经在Hugging Face上开源,并且可以通过以下链接访问模型地址:DeepSeek-R1-FP4。
在后训练量化方面,该模型将Transformer模块内的线性算子的权重和激活量化到了FP4,适用于TensorRT-LLM推理。这一优化使每个参数的位数从8位减少到4位,从而让磁碟空间和GPU显存的需求减少了约1.6倍。
使用TensorRT-LLM部署量化后的FP4权重文件,能够为给定的提示生成文本响应,这需要支持TensorRT-LLM的英达GPU(如 B200),并且需要8个GPU来实现tensor_parallel_size=8的张量并行。这段代码利用FP4量化、TensorRT引擎和并行计算,旨在实现高效、低成本的推理,适合生产环境或高吞吐量应用。
据报道,针对此次优化的成果,网友们表示惊叹,称「FP4 魔法让 AI 未来依然敏锐!」有网友评论道,这次的优化使得美国供应商能够以每百万token 0.25美元的价格提供R1,并认为「还会有利润」。
如今,DeepSeek的开源活动持续进行。周一,DeepSeek 开源了 FlashMLA,这是专为英伟达Hopper GPU打造的高效MLA译码内核,特别针对变长序列进行了优化。周二则推出了DeepEP,这是一个为混合专家系统(MoE)和专家并行(EP)设计的通信库。周三开源的是 DeepGEMM,这是一个支持稠密和 MoE 模型的 FP8 GEMM 计算库,为 V3/R1 的训练和推理提供强大支持。
总体而言,无论是英伟达开源的 DeepSeek-R1-FP4,还是 DeepSeek 开源的其他三个仓库,都是通过对辉达 GPU 和集群的优化,来推动 AI 模型的高效计算和部署。
2.11年来首次重大更新!亚马逊智能体升级 6亿多台设备即将强化
亚马逊发布了新版智能体Alexa+,这是Alexa自2014年发布以来的首次重大更新,亚马逊设备业务主管Panos Panay接任后首次主持亚马逊相关硬件活动。
彭博社记者马克·古尔曼将将其称作“加强版的ChatGPT语音模式”。不止如此,现场演示中,Alexa+展现了流畅的个性化交互能力、实用的跨平台/应用/设备任务处理能力以及多模态能力:
1、自然对话与个性化交互:
Alexa+能够理解上下文含义,与用户进行自然、流畅的对话,即使表达不完整或使用口语化表达,也能准确理解用户意图并做出回应。
随着使用次数增加,Alexa+可以变得更加个性化,如它可以记住家庭不同成员的个人习惯,按照偏好完成制定旅行计划、购买礼品等任务。
2、完成复杂任务:
开发人员可以通过API直接集成该服务,以便Alexa+可以跨应用完成从制定约会计划、购买礼品、安排旅行等复杂任务。例如,Alexa+可完成订餐、接客人、订车等一系列工作。它首先会直接与美国在线订餐平台OpenTable连接,然后Alexa+会提供叫Uber去机场接人的预估费用以及到达时间、发送短信给客人同步Uber的信息。
如果没有外部化的API,Alexa+能够链接到合作伙伴的网站来完成任务。
3、多设备无缝衔接:
Alexa+可以与现有的6亿多台Alexa设备无缝协作,提供更智能的家庭管理体验。例如,在不同房间播放音乐、查看包裹递送情况等。
为了方便用户使用,亚马逊为Alexa+推出了全新用户界面,并且正在推出alexa.com网站和新的APP,用户可在不同设备间切换,Alexa+可以记住对话上下文。它还可以与家庭中的电子设备如安防摄像头联动,自主调出与用户指令相关的视频片段。
4、视觉与多模态能力:
Alexa+具备视觉功能,可以拍照和分析图像,帮助用户识别周围环境,给出实用性建议。
它还可以根据用户的疑问,引用智能家居摄像头的记录,如确认是否有人遛过狗等。
据介绍,Alexa+集成了亚马逊自研的Nova模型和Anthropic的Claude模型。截至目前,亚马逊在全球已售出超过6亿台搭载Alexa的设备,包括Echo音箱、智能摄像头、智能门铃等。
Alexa+智能体服务尚未正式上线,将于未来几周内开始在美国推出,随后在未来几个月内开始在Echo Show 8、10、15和21等设备中推出。其费用是每月19.99美元,Prime会员可免费使用(Prime会员费用是每月14.99美元或每年139美元)。
智能体是能自主感知、做出决策并执行的系统,具备自主性、交互性、反应性和适应性等特征,能在复杂多变的环境中独立完成任务。智能体的出现,标志着人工智能向更高级别的自主智能迈进,AI正逐步融入多样化的环境和任务中,变得更加实用。
自2014年推出以来,亚马逊已向Alexa投入了数十亿美元。亚马逊CEO Andy Jassy便提到,亚马逊使用AI来解决真实的客户问题已经25年了,但最近随着生成式AI的出现情况发生了变化。
今年以来,多家知名科技公司在智能体上加速布局。1月24日,OpenAI宣布,智能体Operator已开放试用,能模拟点击、滚动页面和输入信息等人类操作行为,从而自主完成采购杂货、提交费用报表等任务;1月23日,谷歌基于第一款原生多模态输入输出的大模型Gemini2.0推出3个智能体产品:通用大模型助手Project Astra、浏览器助手Project Mariner、编程助手Jules,赋能智能体跨模态交互;1月22日,Verses发布Genius智能体,赋予了智能体主动性、好奇心和选择能力,引爆贝叶斯推理革命。
华泰证券认为Operator的发布意味着AI将迎来新时代,AI将从工具(被动响应指令)到助手(主动理解用户意图并执行任务)转变,预示着人机交互和自动化任务处理的新篇章,认为主要将体现在以下几个方面:
1)提升用户交互体验,提高应用的留存率及粘性;
2)AI Agent的应用场景广泛,OpenAI演示中包括帮预订餐厅、购物、订票等,随着各家AI Agent开发商的进入,还将产生众多商业化场景,渗透率快速提升;
3)重塑流量分发格局。AI Agent因可以给用户提供了更强的交互体验和便捷性,有望成为新的流量入口,改变现有的流量分发格局。
国内各厂商多款智能体已经落地开放使用,智谱宣布“全球首个”面向公众、回车即用的电脑智能体GLM-PC开放体验,能协助用户完成各类电脑任务;字节发布基础大模型豆包1.5Pro,仅用较小激活参数就达到一流模型性能,且未使用数据蒸馏;华为春节将推出小艺APP,包含多种智能体。
Anthropic开发者关系主管Alex Albert发布推文表示:2025年将是智能体系统之年。
3.JavaScript 的时间处理,即将迎来重大革新
JavaScript 的日期和时间处理一直饱受诟病,Date 对象的种种缺陷让开发者们苦不堪言。幸运的是,一个全新的内置对象 Temporal 即将到来,它旨在解决 Date 对象的所有痛点,为 JavaScript 带来更强大、更易用的时间处理能力。
图片
与 Date 对象相比,Temporal 拥有以下优势:
- 不可变性: Temporal对象是不可变的,任何修改操作都会返回一个新的对象,避免了意外修改带来的问题。
- 更丰富的类型: Temporal 提供了多种类型,例如 Temporal.Instant、Temporal.PlainDate、Temporal.PlainTime 等,可以更精确地表示不同的时间概念。
- 更友好的 API: Temporal 的 API 设计更加直观易用,例如可以使用 with() 方法轻松地修改日期时间的某个部分。
- 更好的时区支持: Temporal 对时区的支持更加完善,可以轻松地进行时区转换和计算。
主要方法
Temporal.Instant
表示一个绝对的时间点,类似于 Date 对象,但精度更高
Temporal.PlainDate
表示一个日历日期,例如 "2023-10-26"
Temporal.PlainTime
表示一天中的时间,例如 "15:30:00"
Temporal.PlainDateTime
表示一个日历日期和时间,例如 "2023-10-26T15:30:00"
Temporal.ZonedDateTime
表示一个带有时区的日期和时间,例如 "2023-10-26T15:30:00+08:00[Asia/Shanghai]"
with
使用 with() 方法修改日期时间的某个部分
withTimeZone
进行时区转换
目前,由于浏览器支持尚未普及,可以通过以下 Polyfill 使用 Temporal(通过npm安装即可):
1、@js-temporal/polyfill
2、temporal-polyfill