机器学习 vs. 数值天气预报,AI 如何改变现有的天气预报模式

数值天气预报是天气预报的主流方法。它通过数值积分,对地球系统的状态进行逐网格的求解,是一个演绎推理的过程。

然而,随着天气预报分辨率不断升高,预报时间逐渐延长,NWP 模式所需要的算力迅速增加,限制了其发展。另一方面,以人工智能为基础的数据驱动天气预报快速发展,在部分领域已经超越了传统方法。

现有的机器学习天气预报精度如何?人工智能又将如何改变天气预报?本文对比了几大数据驱动的机器学习天气预报模型后,对天气预报的未来发展作出了展望。

作者 | 雪菜

编辑 | 三羊

数值天气预报:450 亿偏微分方程组

数值天气预报 (NWP, Numerial Weather Prediction) 是天气预报领域的主流方法。早在 20 世纪初,Abbe 和 Bjerknes 就提出人们可以使用物理定律预测天气,以当前的天气状况为初值,进行积分便可以求解未来的天气。但彼时对气象学的研究还不够深入,计算水平也相对落后,这一设想未能实现。

1950 年,普森林顿大学首次尝试使用第一台电子计算机进行了天气后报。1954 年,在斯德哥尔摩首次实现了实时的天气预报。

在这里插入图片描述

在每个网格单元中求解基于物理定律的微分方程组

直到 20 世纪 70 年代,超级计算机问世,人们方能求解 Abbe 和 Bjerknes 提出的整套方程。1979 年,欧洲中期天气预报中心 (ECMWF) 编制了首份中期天气预报,开启了综合预报系统 (IFS, Integrated Forecasting System) 的篇章。

然而,Edward N.Lorenz 总结前人的经验,提出天气系统是一个混沌系统,会因变量的细微变化而发生巨大的改变。另一方面,人们对于气象系统的初始状态也很难完全掌握。为此,学界使用集合预报 (Ensemble Forecasting) 以最大限度降低初始参数和预测模型的不确定性,预测结果的集合即为概率预报的基础。

在这里插入图片描述

降水概率的集合预报示意图

随着数值模型、超级计算、数据同化和集合预测等技术的发展,数值天气预报的精度不断提高,预测时间也由 3 天、5 天逐渐提升至 7 天甚至 10 天

在这里插入图片描述

南、北半球 (SH, NH) 的天气预报技术随时间的演进

目前,欧洲中期天气预报中心的预报模式需要对每一水平层的 200 万个网格,以 10 分钟的步长进行 10 天的预报,每天运行 2 次。因此,他们需要在 2.5 小时内,完成约 400 亿个网格的运算,需要很高的计算成本。

高昂的计算费用阻碍了数值天气预报方法的进一步发展。如何在模型分辨率和集合规模之间找到平衡,成了限制集合预报的桎梏。

数据驱动的机器学习方法崛起

近期,数据驱动 (Data-Driven) 的机器学习 (ML, Machine Learning) 在天气预报中展现出了巨大的潜力。2022 年以来,天气预报领域的机器学习模型取得了一系列突破,部分成果可以与欧洲中期天气预报中心的高精度预测匹敌。数据驱动的天气预报推理依赖于机器学习模型,而非综合预报系统 (IFS) 中的物理模型,其预测速度较传统方法提升了几个数量级。此外,基于机器学习的天气预报是归纳推理的结果,而非传统的演绎推理。这种逻辑学的范式转变改变了天气预报的解释方式——这些结果是从以前的数据中学习而来的,因此更具说服力

数据集:1940 年至今 0.25° 的再分析数据

数据驱动模型的出现归功于大规模、高质量的气象学开放数据集。现有的机器学习天气预报模型,训练于欧洲中期天气预报中心的第五代再分析数据,ERA5 再分析数据集。2016 年现版本综合预报系统 (IFS) 问世时,对 1940 年至今的天气数据进行了再分析,得到了分辨率 0.25° (30 km) 的 ERA5 数据集。

FourCastNet:与 IFS 精度相当的 DL 模型

2022 年,NVIDIA 发布了 FourCastNet,基于傅立叶预测神经网络,首次进行了分辨率为 0.25° 的深度学习天气预报

在这里插入图片描述

FourCastNet 架构示意图

在提升分辨率的同时,FourCastNet 在异常相关系数 (ACC, Anomaly Correlation Coefficient) 和均方根误差 (RMSE, Root Mean Squared Error) 方面也没有落后传统的数值天气预报太多。

在这里插入图片描述

FourCastNet 与数值天气预报的 ACC 和 RMSE 对比

以节点小时 (Node-Hour) 为单位,FourCastNet 的速度大约是传统数值天气预报模型的 45,000 倍,加上其在高分辨率下的准确性,使得超大规模的集合预报成本迅速降低。

GraphCast:基于 GNN 全球中期气象预报

GraphCast 是一种基于图神经网络 (GNN) 的神经网络,采用「编码-处理-解码」配置,共有 3,670 万个参数。

编码器通过单层 GNN 将输入网格中的变量映射到内部的多网格中。

多网格是一个空间均质的图,有着全球范围的高分辨率。多网格通过 6 次迭代正二十面体(包含 12 个节点,20 个面和 30 条边)形成,每次迭代会对网格进行精细化,将单个三角形划分为 4 个较小的三角形,并将其节点投影至球体上。最终多网格包含 40,962 个节点,及精细过程中所有图形的边,形成了包含不同长度的边的层级图。

处理器使用 16 个非共享的 GNN 层,在多网格上进行消息传递。解码器使用单层 GNN, 将处理器的学习特征从多网格映射回到经纬度系统中。

在这里插入图片描述

GraphCast 的框架

a-c:GraphCast 的输入-预测-迭代过程;

d-f:GraphCast 的编码-处理-解码配置;

g:多网格的精细化过程。

对比欧洲中期天气预报的高分辨率预报 (HRES),GraphCast 在 ACC 和 RMSE 上均更胜一筹。

在这里插入图片描述

GraphCast 和 HRES 的预测 RMSE (a&b) 和 ACC (c) 对比

在 32 台 Cloud TPU v4 设备上训练 3 周后,GraphCast 对 1979 年以来的 ERA5 数据进行了学习。随后, GraphCast 可以在 60 秒内在单台 Cloud TPU v4 设备上,生成分辨率 0.25° 间隔 6 小时的 10 日天气预报。

盘古:基于 ViT 的三维气象大模型

盘古气象大模型的输入输出均为三维的气象场。由于气象场的经纬度分布不均匀,盘古气象大模型使用了三维的 Vision Transformer (ViT) 对气象数据进行处理,精度首次超过了主流的综合预报系统 (IFS)。

在这里插入图片描述

三维 Vision Transformer 架构

当预测时间长于 3 天时,从 RMSE 来看,盘古气象大模型和 IFS 的性能相当,均优于训练集 ERA5。

在这里插入图片描述

不同模型的对 T850 和 Z500 的预测性能对比

a&b:分别为不同模型预测 T850 和 Z500 时的 RMSE;

c&d:分别为不同模型预测 T850 和 Z500 时的活动强度;

e&f:分别为不同模型预测 T850 和 Z500 时的偏差。

综上所述,数据驱动的机器学习天气预报,在预测精度上与传统的数值天气预报模式接近,然而运算设备和运算速度远超数值天气预报模型,说明 AI 天气预报在实际应用中有相当的潜力。

机器学习和数值预报 = 精度 + 速度

在天气预报的内部和外部,机器学习都在以惊人的速度不断发展。欧洲中期天气预报中心一直在关注数据驱动天气预报的快速崛起,包括 NVIDIA、华为和 Deepmind。

「FourCastNet 是第一个基于 AI 的分辨率达到 0.25° 的天气预报系统,也是第一个开源的天气预报系统。我们的新版本显著提高了模型的中期性能和长期稳定性,并希望通过神经算子框架,实现超分辨率。」NVIDIA Earth-2 团队的 Anima Anandkumar 说道。

欧洲中期天气预报中心将这些机器学习模型,和稳定的数值模型一起呈现给了用户,邀请他们从应用侧对系统的操作和性能进行评估。模型的准确性、可靠性、不确定性和交互性是评估气象产品质量和有效性的关键因素。

为此,欧洲中期天气预报中心公开了 FourCastNet、PGW 和 GraphCast 基于 IFS 初始条件的预测结果。Florian Pappenberger 表示,「开放是创新、合作和探索的关键。通过共享数据、方法和结果,进行对比和分析,就能够加速科学发展,最终造福社会。

在这里插入图片描述

三个气象 AI 的公开数据

在欧洲中期天气预报中心的对比中,可以看到基于 AI 的天气预测,在部分性能上已经可以与数值天气预报媲美,将在未来发挥着重要作用。然而,这些模型尚没有综合预测能力,这是中长期尺度上提供有价值预测的关键。

开放获取、对比优化、便携易得,AI 正将自己的优势渗透进入传统的天气预报当中。在将天气预报从超级计算机解放出来的同时,AI 在极端气候事件上也有着不俗的表现。相信 AI 能够同数值天气预报一起,革新天气的预报方式,为农林牧渔、航海航天事业的发展贡献出自己的力量。

参考链接:

[1]https://journals.ametsoc.org/view/journals/mwre/29/12/1520-0493_1901_29_551c_tpbolw_2_0_co_2.xml

[2]https://cir.nii.ac.jp/crid/1573668925699683328

[3]https://www.nature.com/articles/nature14956

[4]https://arxiv.org/abs/2202.11214

[5]https://arxiv.org/abs/2212.12794

[6]https://phys.org/news/2023-09-ai-weather-showcase-data-driven.html

[7]https://arxiv.org/abs/2307.10128

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/124935.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

CSS 外边距、填充、分组嵌套、尺寸

一、CSS 外边距: CSS margin(外边距)属性定义元素周期的空间。margin清除周围的(外边框)元素区域。margin没有背景颜色,是完全透明的。margin可以单独改变元素的上、下、左、右边距,也可以一次改…

什么叫做阻塞队列的有界和无界

(mic老师面试题摘选) 昨天一个 3 年 Java 经验的小伙伴私信我,他说现在面试怎么这么难啊! 我只是面试一个业务开发,他们竟然问我: 什么叫阻塞队列的有界和无界。现在面试 也太卷了吧! 如果你也遇到过类似…

nanodet训练自己的数据集、NCNN部署到Android

nanodet训练自己的数据集、NCNN部署到Android 一、介绍二、训练自己的数据集1. 运行环境2. 数据集3. 配置文件4. 训练5. 训练可视化6. 测试 三、部署到android1. 使用官方权重文件部署1.1 下载权重文件1.2 使用Android Studio部署apk 2. 部署自己的模型【暂时存在问题】2.1 生成…

如何查看Android 包依赖关系

关于作者:CSDN内容合伙人、技术专家, 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 ,擅长java后端、移动开发、商业变现、人工智能等,希望大家多多支持。 目录 一、导读二、概览三、查看依赖关系3.1 方式一3.2 方式二…

安防监控系统视频融合平台EasyCVR页面地图功能细节详解

安防监控视频汇聚平台EasyCVR可拓展性强、视频能力灵活、部署轻快,可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等,以及支持厂家私有协议与SDK接入,包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安防视频监控的能力&#xff…

混沌系统在图像加密中的应用(小波混沌神经网络)

混沌系统在图像加密中的应用(小波混沌神经网络) 前言一、小波混沌神经网络模型二、拓展三、python代码 前言 小波混沌神经网络是一种神经网络模型,结合了小波变换和混沌理论,用于信号处理、分类和预测。该模型基于多层前向神经网…

selenium元素定位与操作

说明:本篇博客基于selenium 4.1.0 在selenium中,想要对元素进行操作,一般需要如下步骤: 在浏览器中查看元素属性,便于selenium在页面中找到该元素在代码中创建元素对象元素操作、获取元素信息 查看元素属性 浏览器…

【快速使用ShardingJDBC的哈希分片策略进行分库分表】

文章目录 🔊博主介绍🥤本文内容🍊1.引入maven依赖🍊2.启动类上添加注解MapperScan🍊3.添加application.properties配置🍊4.普通的自定义实体类🍊5.写个测试类验证一下🍊6.控制台打印…

[架构之路-246]:目标系统 - 设计方法 - 软件工程 - 需求工程- 需求开发:获取、分析、定义、验证

目录 前言: 架构师为什么需要了解需求分析 一、需求工程概述 1.1 概述 1.2 需求工程的两大部分 (1)需求开发:系统工程师的职责、目标系统开发角度 (2)需求管理:项目管理者的职责、项目管…

uni-app多端开发

uni-app 多端开发 一、命令创建uni-app 项目二、在微信小程序后台找到 appId 填写 appId三、运行项目四、使用 uni-ui4-1、下载4-2、自动导入4-3、ts项目下载类型校验 (uni-ui 组件库)4-3-1、下载4-3-2、配置 五、持久化 pinia六、数据请求封装七、获取组…

C++day6作业

1.思维导图 2.编程题: 以下是一个简单的比喻,将多态概念与生活中的实际情况相联系: 比喻:动物园的讲解员和动物表演 想象一下你去了一家动物园,看到了许多不同种类的动物,如狮子、大象、猴子等。现在&am…

Spring笔记(四)(黑马)(web层解决方案-SpringMVC)

01、Spring MVC 简介 1.1 SpringMVC概述 SpringMVC是一个基于Spring开发的MVC轻量级框架,Spring3.0后发布的组件,SpringMVC和Spring可以无 缝整合,使用DispatcherServlet作为前端控制器,且内部提供了处理器映射器、处理器适配器…

OpenTiny Vue 组件库支持 Vue2.7 啦!

之前 OpenTiny 发布了一篇 Vue2 升级 Vue3 的文章。 🖖少年,该升级 Vue3 了! 里面提到使用了 ElementUI 的 Vue2 项目,可以通过 TinyVue 和 gogocode 快速升级到 Vue3 项目。 有朋友评论替换button出错了,并且贴出了…

Java进阶(垃圾回收GC)——理论篇:JVM内存模型 垃圾回收定位清除算法 JVM中的垃圾回收器

前言 JVM作为Java进阶的知识,是需要Java程序员不断深度和理解的。 本篇博客介绍JVM的内存模型,对比了1.7和1.8的内存模型的变化;介绍了垃圾回收的语言发展;阐述了定位垃圾的方法,引用计数法和可达性分析发以及垃圾清…

基于指数分布算法的无人机航迹规划-附代码

基于指数分布算法的无人机航迹规划 文章目录 基于指数分布算法的无人机航迹规划1.指数分布搜索算法2.无人机飞行环境建模3.无人机航迹规划建模4.实验结果4.1地图创建4.2 航迹规划 5.参考文献6.Matlab代码 摘要:本文主要介绍利用指数分布算法来优化无人机航迹规划。 …

阿里云服务器密码在哪查看?如何设置修改初始密码?

阿里云服务器创建后没有默认初始密码,需要用户通过重置实例密码的方式来设置新的密码,阿里云服务器网aliyunfuwuqi.com分享阿里云服务器ECS重置实例密码的详细操作流程: 阿里云服务器重置密码方法 1、登录到阿里云服务器管理控制台 2、左侧…

乐园要吸引儿童还是家长?万达宝贝王2000万会员的求精之路

2023年6月,万达宝贝王正式迈入“400店时代”。 万达宝贝王在全国200多座城市,以游乐设施、主题活动、成长课程服务10亿多用户,拥有2000多万名会员,是真正的国内儿童乐园领跑者。 当流量时代变成“留量”时代,用户增长…

按键精灵中的UI界面操作

1. 按键精灵中UI界面常用的控件 1. 文字框 界面1: {标签页1:{文字框:{名称:"文字框1",显示内容:"显示内容",文字大小:0,高度:0,宽度:0,注释:"文字大小、高度、宽度是可选属性,如需使用默认值,可保持值为0或直接删除此属性&qu…

汽车制造业,通常都穿用哪些防护功能的劳保鞋呢?

近年来汽车行业发展迅速,各家各户有条件的话都会买车,汽车已经成为人们主要出行工具。随着人们生活水平的提高,汽车市场需求持续增长,现在的汽车制造厂也是越来越多,使得汽车制造业成为机械行业的重要支柱之一。 那么对…

【深度学习】可交互讲解图神经网络GNN

在正式开始前,先找准图神经网络GNN(Graph Neural Network)的位置。 图神经网络GNN是深度学习的一个分支。 深度学习的四个分支对应了四种常见的数据格式,前馈神经网络FNN处理表格数据,表格数据可以是特征向量,卷积神经网络CNN处理…