不是取代,而是共生!气象科学的未来需要AI与数值预报的有机结合

2022 年常被业内人士视为 AI 赋能气象预测的元年。

从这一年开始,AI 在气象领域的应用呈现爆发式增长,NVIDIA DLWP、Google MetNet-2 等一系列创新方法及模型如雨后春笋般涌现,国内外「首次」、「第一」、「开创性」成果频出,尤其是在提升预报技巧方面,AI 更是展现出惊人的成效,短短几月便实现了数值预报数十年才能达成的目标、甚至更优。

要知道,数值预报诞生至今已有百年历史,曾经推动了大气科学近半个世纪的迅猛发展,是现代天气预报的主流模型。部分场景下,数值预报的精准度被 AI 领先,也不禁引起了业内人士的思考和疑问:这一历经百年验证的经典方法,是否即将被 AI 追赶、超越甚至完全取代?

对此,中国气象局上海台风研究所副所长黄伟认为:「在可预见的将来,AI 气象预报和传统数值预报的有机结合,才是预报技术取得突破的最有效途径。

确实如此,数值预报和 AI 存在天然的耦合关系,数值预报可以通过物理数学理论提供可解释的预报结果,AI 可以利用知识经验提高预报计算速度和精度,两者互补或许才是未来气象预报发展的关键道路。

我们试图通过梳理拆解数值预报的前世今生,与颇具代表性的前沿人工智能方式方法,帮读者由点及面了解二者之间的复杂关系和潜在可能。

从理论到实践,数值预报的百年探索

事实上,在数值预报出现之前,基于天气图的外推预报才是当时气象预报的主流手段。

在这里插入图片描述

布兰德斯的第一张天气图,图源:沐曦

在底图上填写各城市、测站位置以及主要河流、湖泊、山脉等地理标志,将世界各地同一时间的气象要素绘制在这张图上,形成天气图。通过分析天气图,根据气象演变在短时间内具有连续性原则,把当前的天气趋势外延一段时间,就能得出预报结果。

基于天气图的外推预报不能反映大气内部的运动变化规律,其预报水平受到很大限制。为了得到更精准的天气预报,气象学家们尝试引入数学物理方法,研究天气演变的物理规律, 发展出一个建立在定量描述基础上的预报技术,这就是后来的数值天气预报。

借助电子计算机,数值预报强势崛起

大气的运动轨迹遵循流体力学基本理论。挪威气象学家皮叶克尼斯认为,「大气的未来状态,原则上由大气的初始状态、大气运动方程、质量守恒方程、状态方程、热力学方程等共同决定的」,因此人们尝试将这些影响因素组成一个方程组来反应大气运动状态,把气象观测网提供的大气实时气象要素作为方程组的输入,求解方程随时间的变量值,进而得到大气的未来状态——这就是数值天气预报的基本思想。

1916-1919 年,英国理查德森博士进行了第一次数值预报的实际计算,但这次试验非常失败。事后他总结,「这种预报的计算量非常大, 即使有手工计算器的辅助,也难以在天气到来之前实现预报。」虽然本次尝试效果不佳,但他向外界展示了数值天气预报的基本计算过程、步骤、面临的问题等,为后人提供了很好的学习经验。

1946 年,世界上第一台电子计算机 ENIAC 问世,其计算速度可达每秒 5,000 次加法运算。从那时起,被誉为「计算机之父」的冯·诺依曼身边就总是围绕着来自世界各地的优秀气象学家们,他们的目标是,用刚刚诞生的电子计算机做出准确的数值天气预报。

在这里插入图片描述

世界上第一张成功的数值天气预报图,图源:中国天气网

1950 年,美国科学家查尼、费也托付、冯·诺伊曼等基于前人经验,第一次在 ENIAC 上成功算出了 500 百帕天气形势的 24 小时预报,这是数值天气预报的首次成功, 也是一个划时代的标志。自此,围绕数值天气预报的研究迎来了蓬勃发展时期,无数国内外科学家、机构纷纷投身该领域发展。

中国气象局:坚持自主研发,掌握四维变分资料同化技术

1975 年,欧洲中期天气预报中心 (ECMWF) 顺势成立, 并在成立的第 4 年就发布中期数值天气预报产品,逐步建立起在世界数值天气预报领域的领先地位。现如今,ECMWF 拥有目前世界上最先进的数值天气预报系统,携手 34 个成员国、合作成员国的国家气象和水文机构等,设计新的服务产品、评估和诊断预报质量。据了解,成员国的气象机构享有特权,能够每天实时收到中心做出的数值天气预报产品和服务,这种服务还通过商业化渠道,提供给 30 多个国家的客户。

然而,中国并不是 ECMWF 的成员国。

我国数值预报模式在发展初期曾面临一道选择题,是引进 ECMWF 最先进的数值预报,还是自主研发国产数值预报?直接引入省时省力,但 ECMWF 的预报技术核心,四维变分资料同化技术从不向他国公开。「为了不被欧美国家卡脖子,中国需要自己掌握核心技术」。中国气象局地球系统数值预报中心全球数值天气预报系统工程技术团队成员孙健表示。

  • 三维变分资料同化:多个时刻的大气状态数据,如温度、湿度、气压、风速等,被假定为同一时刻,通过数值预报模式运算,得出未来某一时刻的天气状态。

  • 四维变分资料同化:在三维变分资料同化的基础上,加入时间维度信息,把多个时刻的大气状态数据联系起来,找到数据间的变化关系,再通过模式运算推算未来天气。

1995 年国家气候中心成立,历经十年研发,国家气候中心在 2005 年成功推出了 NCC 气候预测模式系统,作为我国第一代短期气候预测动力气候模式业务系统,它迅速投入业务运行,在国家的防灾减灾及气象保障服务中发挥了不可估量的作用。

通过不断的自主创新与突破,我国第二代、第三代短期气候模式预测业务系统相继问世,成为现代气候业务系统中不可或缺的组成部分。为进一步推动气象预报技术的发展,中国气象局组建数值预报创新基地、成立数值预报中心,在四维变分同化、模式动力框架、卫星资料同化技术等方面实现重大突破。

2021 年,我国数值天气预报系统再获国家科学技术进步奖,成为行业发展的又一个里程碑。2024 年 1 月,中国气象局报道,其自主研发的全球同化预报系统 (CMA-GFS) V4.0 正式运行。此次升级后,北半球可用预报天数突破 8 天,全球预报空间分辨率从 25 公里提升到 12.5 公里,中国同化技术取得了国际领先成就,我国成为国际上为数不多自主研发全球四维变分同化系统的国家之一。

尽管数值预报在过去数十年间取得了显著进步,面对卫星遥感、雷达观测、飞机观测、船舶观测、海上浮标等来源的海量观测数据,即便是当今的超级计算机,也需要几个小时的模拟推导才能完成提前 3 天的气象预报,计算资源在处理庞大信息量时面临很大挑战。

科技的浪潮从未停歇。随着 AI 的兴起,这个顶着「专为处理大数据而生」的技术,可以给气象预测带来更快的计算速度、更高的预测精度、更低的花费成本,受到了人们的广泛关注。

解决 3 大难题,AI 气象预测实现精度、速度双重提升

基于机器学习的天气预报可以根据历史气象数据(包括观测和分析数据)来训练预测模型,这种模型能够识别并学习数据集中不易用显式方程表示的因素,进而提高预测准确性。

然而,机器学习模型在向更高精准度预测跃进时,仍存在诸多挑战,主要有迭代误差累积、高分辨率数据稀疏、极端天气预测平滑化这 3 大难题。 近年来,从学术界到产业界,也围绕这 3 大挑战展开攻坚,推动了 AI 气象预测在天气预报精度与速度上的双重提升。

Pangu-Weather 解决迭代误差累积问题

在解决迭代误差累积方面,2023 年 7 月,华为云研究人员推出了全球 AI 气象预报大模型 Pangu-Weather。 该模型是首个预测精度超过传统数值预报模式的 AI 方法,预测速度可提升 10,000 倍以上,模型水平空间分辨率达到 0.25°×0.25° ,时间分辨率为 1 小时,覆盖 13 层垂直高度,可精准预测细粒度气象特征,秒级实现对位势、湿度、风速、温度、海平面气压等气象结果的预测。

Pangu-Weather 解决了 AI 气象预报模型一直以来存在的精度不足问题:由于大气现象本质上是 3D 的,基于 2D 神经网络的 AI 气象预报模型在处理不均匀的 3D 气象数据时存在一定局限;此外,数据驱动 AI 方法缺少数学物理机理约束,在长时间的预报迭代过程中会不断积累迭代误差。

在这里插入图片描述

三维 Vision Transformer 架构

对此,Pangu 团队创造性地提出了适应地球坐标系统的三维神经网络 (3D Earth-Specific Transformer),并用层次化时域聚合策略来减少预报迭代次数,进而减少迭代误差。 该研究以「Accurate medium-range global weather forecasting with 3D neural networks」为题发表在 Nature 上。
论文地址: https://www.nature.com/articles/s41586-023-06185-3

尽管 Pangu-Weather 已经实现 0.25° 高分辨率的预测,但很多气象学家仍希望能够获得更高分辨率的气象预测,带来更精细的预报结果。

FengWu-GHR 解决高分辨率数据稀缺难题

在解决高分辨率数据稀疏问题上,2024 年 3 月,上海人工智能实验室联合国家气象中心、国家气象信息中心、南京信息工程大学、香港科技大学等机构发布全球高分辨率 AI 气象预报大模型 FengWu-GHR。 该模型是首个将预报分辨率提升至 0.09° (9km*9km) 的 AI 气象大模型,可对中期天气进行 10 公里级的建模与预报。较此前的 0.25°,范围精确率超过 7 倍,有效预报时长由 10.75 天提升至 11.25 天。

该研究以「FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather Forecasting」为题,发表在 arXiv 上。
论文地址https://arxiv.org/abs/2402.00059

在这里插入图片描述

FengWu-GHR 技术框架

受限于过去的观测技术,高分辨率数据存在稀缺。研究人员创新性地提出了空间一致性映射、解耦组合迁移学习技术,通过学习低分辨率再分析数据上预训练模型的先验知识,并结合少量的高分辨率实时运行分析数据,增加对区域大气活动的二次建模,破解高分辨率数据稀缺难题。

「Pangu-Weather 曾在每个预测时间点使用单独的训练模型来解决误差累积问题,这种方法很有效,但其训练成本非常高昂。我们在每一步的预测过程增加了 LoRA 模块,并结合少量参数对每一步进行训练,这相当于每一步预测都有了新的模型,但只需要引用少量参数,显著减少了计算成本。」上海人工智能实验室青年研究员苏锐表示。

「此外,极端天气事件的数据同样很少,数据驱动的 AI 模型在预测极端天气时会出现结果平滑化趋势,如何提升极端天气的预测精度也是未来需要解决的一个难题。」

Aurora 预测极端天气提速 5,000 倍

在解决极端天气预测平滑化问题上,2024 年 5 月,微软发布了首个大规模大气基础模型 Aurora。 该模型在超一百万小时的多样化天气和气候模拟中训练,通过以 0.1°(赤道处约 11 公里)的高空间分辨率运行,可以捕捉大气运动的复杂细节,不到 1 分钟即可精准实现 10 天的高分辨率天气预报,计算速度比最先进的数值预报系统 IFS 还要快 5,000 倍。

更令人惊喜的是,该模型可以提升对极端天气的预测能力,比如对风暴「夏兰」等恶劣天气事件的急剧恶化进行预测。该研究以「Aurora: A Foundation Model of the Atmosphere」为题,发表在 arXiv 上。

论文地址: https://http://arxiv.org/abs/2405.13063

在这里插入图片描述

Aurora 模型

Aurora 的设计目标是处理异构的黄金标准输入,并以不同的分辨率和保真度生成预测。该模型由一个灵活的 3D Swin Transformer 和基于 Perceiver 的编码器和解码器组成,能够处理和预测跨不同空间和压力层次的大气变量。

通过在海量且多样的数据集上进行预训练,再针对特定任务进行微调,Aurora 可以捕捉大气的复杂模式和结构,即使在诸如极端天气等有限的训练数据下对特定任务进行微调,依然有出色的预测能力。

除了前面提及的 3 项成果外,英伟达的 FourCastNet、谷歌 DeepMind 的 GraphCast、阿里巴巴的 SwinVRNN、清华大学联合中国气象局发布的 NowcastNet、复旦大学的伏羲等,众多 AI 气象大模型的出现正不断拓展着 AI 气象预测的边界。

值得一提的是,为了进一步加快人工智能在气象业务领域应用,2024 年 5 月,我国气象局发布了《人工智能气象大模型训练专题数据目录》,该目录公开了 6 大数据资源/产品,中国气象局全球大气再分析产品 1.5 版本、中国气象局全球同化预报系统 (CMA-GFS) 全球天气模式产品 4.0 版本、中国气象局全球海洋气象实况分析产品、全球热带气旋数据集、全球地面整编数据集、全球高空整编数据集等。此举旨在促进社会各界便捷获取数据资源,以支持并加速其在人工智能技术应用、特别是气象领域的研发与创新。

可以说,无论从技术还是政策层面,AI 气象预测都处于快速发展的黄金时期,得到了「政产学研」的高度关注。

AI 结合传统数值预报,才能走的更远

人工智能作为当下全领域的技术担当和科技宠儿,被视为足以颠覆大气科学领域的新生力量,然而 AI 的可解释性和可信度仍然存在欠缺。 「黑盒」式 AI 模型直接从海量数据中获取信息,不需要遵守物理定律,这导致气象学家无法理解 AI 做出预报的动力依据。

聚焦传统的数值预报方法,它基于气象动力理论,通过数学表达和偏微分方程积分,再以流体力学编程技巧实现,能够提供高度可信和可解释的预报结果,对 AI 方法而言是一个十分必要的补充。

事实上,我国气象学家正积极投身于 AI 与传统数值预报融合的前沿研究。2024 年 5 月,中国气象科学研究院灾害天气国家重点实验室研究员徐洪雄团队,发表了一项开创性研究成果,他们成功将 Pangu-weather 天气 AI 预测大模型与区域数值预报模式 WRF-ARW 结合,这是 AI 天气模型在驱动区域数值预报中的首次应用,不仅捕捉到了极端天气事件的关键物理过程,还将 400 毫米降水量的有效预测期延长至 8.5 天,显著提升了预报技巧。

该研究以「Improvement of disastrous extreme precipitation forecasting in North China by Pangu-weather AI-driven regional WRF model」为题,发表在 Environmental Research Letters 上。

论文链接:

https://iopscience.iop.org/article/10.1088/1748-9326/ad41f0

随着气象预测的进一步发展,让 AI 与传统数值预报结合正在成为大多专家们的共识。AI 或许难以彻底成为知阴晴雨雪、掌冷暖变化的新主导,而历经百年验证的经典数值预报方法,在当代极端天气频发、精准预测困难重重的大背景下,也需要与时俱进、不断迭代。唯有新旧方法相辅相成,才有望在未知挑战中,孵化、衍生出一种更可信更高效的复合方法,这或许才是未来气象预测的最佳途径。

在这里插入图片描述

HyperAI超神经持续追踪 AI4S 前沿成果,开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读, AI+气象学专题汇总如下:

https://github.com/hyperai/awesome-ai4s

参考资料:
https://iap.cas.cn/gb/kxcb/kpwz/202004/t20200417_5551357.html
https://www.metax-tech.com/en/ndetail/12503.html
http://paper.people.com.cn/rmzk/html/2024-04/29/content_26056178.htm
https://www.eurekalert.org/news-releases/1007746

https://www.camscma.cn/article/5327

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/800831.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

地暖安装工艺流程

地暖安装工艺全流程 基层处理→材料进场→清点材料→安装分集水器 →边界保温条铺设 →保温板铺 → 反射膜铺设 → 钢筋网铺设 → 地暖盘管铺设 → 地暖管与分集水器连接安装 → 第一次打压 → 管路施工验收 → 带压回填层施工 → 伸缩缝布置→养护期满后二次打压 → 工程验收…

C++入门学习——初始化列表

概念 初始化列表:以一个冒号开始,接着是一个以逗号分隔的数据成员列表,每个"成员变量"后面跟一个放在括 号中的初始值或表达式 class Date { public://初始化列表Date(int year,int month,int day):_year(year),_month(month),_d…

数字孪生技术栈:简单选three.js,复杂选unity3D,基本不会错。

数字孪生项目中涉及到3D模型交互的部分,选择什么技术栈呢,一般来说遵循这个原则:简单的应用可以选择Three.js,而复杂的应用则更适合选择Unity3D。 Three.js是一个基于WebGL的开源JavaScript库,用于在Web浏览器中创建和…

python-矩阵加法(赛氪OJ)

[题目描述] 输入两个 n 行 m 列的矩阵 A 和 B ,输出它们的和 AB。矩阵加法的规则是两个矩阵中对应位置的值进行加和,具体参照样例。输入: 输入共 2⋅n1 行,第一行包含两个整数 n 和 m,表示矩阵的行数和列数 (1≤n,m≤1…

Openerstry + lua + redis根据请求参数实现动态路由转发

文章目录 一、需求分析二、准备1、软件安装2、redis-lua封装优化 三、实现1、nginx.conf2、dynamic.lua注意 3、准备两个应用4、访问nginx 四、参数直接传要代理的地址端口 一、需求分析 根据用户访问url的参数,将请求转发到对应指定IP的服务器上。 二、准备 1、…

DDei在线设计器-数据格式说明

数据格式说明 DDei的所有设计数据都以文件为单位保存在一个JSON对象中。JSON对象包含了全量的页签、舞台、图层、控件的位置以及属性信息。开发人员可以存储这个JSON到服务端数据库中,从而轻易的实现保存功能;也解析这个JSON,将其转换成自己业…

没想到,2024年死磕技术是真的没用!快速提升职场竞争力的AI工具,才是真的王炸!

大家好,我是画画的小强 2024年最大的热点,除了裁员,就是各种AI技术层出不穷。 原本以为只是新技术的短暂爆火,但现实却残酷的警示着:AI抢走你饭碗时,连声招呼都不打! Excel、Word、PPT&#xf…

MAVSDK-Java安卓客户端编译与使用完整示例

效果: 1.启动PX4容器 2.监听QGC连接端口 3.手机与QGC连接到同一局域网(此例QGC为:192.168.6.250 手机为:192.168.6.86) 4.监听手机mavsdk_server连接端口 5.使用Android Studio打开MAVSDK-JAVA下的examples/android-c…

ServiceNow UI Jelly模板注入漏洞复现(CVE-2024-4879)

0x01 产品简介 ServiceNow 是一个业务转型平台。通过平台上的各个模块,ServiceNow 可用于从人力资源和员工管理到自动化工作流程或作为知识库等各种用途。 0x02 漏洞概述 由于ServiceNow的Jelly模板输入验证不严格,导致未经身份验证的远程攻击者可通过构造恶意请求利用,在…

排队问题--逆序对应用

对于逆序对,我们可以用树状数组的方式来求,但是值得注意的是,我们逆序对一般求的是比这个元素小的个数(位置可以是前或者后),那么求比这个元素大的个数怎么办,我们可以用 i - query() !!! 每个元…

C#中的委托

在C#中,委托(Delegate)是一种特殊的类型,它持有对方法的引用。委托可以指向静态方法、实例方法或Lambda表达式。它们在C#中用于实现回调机制、事件处理以及泛型方法的实现。 委托的主要特点包括: 类型安全&#xff1a…

颗粒饲料机器,打造成套饲料生产线

无论您是大型养殖场还是小型养殖户,我们的颗粒饲料机器能满足您的需求。我们致力于为客户打造成套饲料生产线,让您在养殖业中脱颖而出。 🚀 开启养殖新时代,您的饲料生产线升级设备! 还在为饲料生产烦恼吗&#xff1f…

html5——CSS背景属性设置

目录 背景颜色 background-color 背景图像 背景定位 背景样式简写 背景尺寸 ​编辑渐变属性 背景颜色 background-color 背景图像 background-image background-image:url(图片路径); 背景重复方式: background-repeat 属性: repeat&#…

elementui 日历组件el-calendar使用总结

功能: 1.日历可以周视图、月视图切换; 2.点击月视图中日期可以切换到对应周视图; 3.点击周视图查看当日对应数据; 4.周、月视图状态下,点击前后按钮,分别切换对应上下的周、月; 5.点击回到…

【深度学习】FaceChain-SuDe,免训练,AI换脸

https://arxiv.org/abs/2403.06775 FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation 摘要 最近,基于主体驱动的生成技术由于其个性化文本到图像生成的能力,受到了广泛关注。典型的研…

Stable Diffusion - 光影魔法,SD中的光影控制(附模型)

今天继续分享SD中光影控制的运用和效果。 光影控制体验 — 这次介绍的光影控制效果如下: autumn lights:秋天光景,街景与人物服装也会变成秋装 spring lights:春天光景,街景与人物服装也会变成春装 summer lights…

【Python爬虫教程】第7篇-requests模块的cookies保存和使用

文章目录 为什么要保存cookiesrequests.utils工具类保存cookies到本地文件从本地文件解析cookies使用使用实践 为什么要保存cookies 保存cookies是避免每次都登录获取权限,一遍权限是有过期时间的,不需要每次重复登录,可以将cookies保存起来…

招聘难怎么破?这38个面试问题,助你精准筛选出适用人才!

对于专门负责招聘工作的人员来说,每天都有很多很多面试要应对,但你还不能敷衍,因为不能高效地挑选出合适的人才,你的招聘目标就没办法完成了。精准筛选你所需要的人才,跟面试官面试的时候提出的问题有很大关系。因为好…

29.【C语言】自定义函数

1、自定义详解 *提示&#xff1a;先看第12,19篇 例&#xff1a;写一个程序交换两个变量的值 #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> void swap(int x, int y) {int z 0;z x;x y;y z; } int main() {int a 10;int b 20;swap(a, b);printf("%d…

【算法消费者行为】算法性能预期如何增强冲动性购买?—推文分享—2024-07-16

今天的推文主题是&#xff1a;【算法&消费者行为】 第一篇&#xff1a;如何通过管理多种刺激来优化客户体验&#xff1f;购买行为的驱动因素是隐性还是显性的消费者态度&#xff1f;第二篇&#xff1a;算法性能期望如何增强在线零售中的即兴购买行为。第三篇&#xff1a;社…