分析训练全球 2k+ 水文站数据,中科院团队发布 ED-DLSTM,实现无监测数据地区洪水预测

随着全球气候变化,洪水灾害正变得愈发频繁。联合国减少灾害风险办公室与比利时鲁汶大学灾害流行问题研究中心联合发布的报告指出:过去 20 年间,全球洪水灾害数量从 1,389 起上升到 3,254 起,增加了超两倍,占到灾害总数的 40%,影响人数达 165 万人。

洪灾会带来巨大的人员伤亡和财产损失。今年 4 月,洪涝和地质灾害共造成我国江西、广东等 17 省 (区、市) 159.8 万人不同程度受灾,因灾死亡失踪 24 人,农作物受灾面积 140.3 千公顷,直接经济损失 119.8 亿元,灾害损失为近 10 年同期最重。

如何有效地预测洪水流量对降低洪水灾害风险至关重要。去几十年里,基于水文过程的洪水流量预测取得了显著进步,但当前方法的预测结果依然严重依赖监测数据和参数率定。事实上,全球 95% 以上的流域没有任何监测数据,如何破解无监测数据和缺监测数据地区的径流和洪水预测,一直是水文领域长期面临的难题。

2024 年 4 月,中国科学院成都山地灾害与环境研究所欧阳朝军团队在 The Innovation 发表了题为「Deep learning for cross-region streamflow and flood forecasting at a global scale」的论文,提出了一种基于 AI 的径流洪水预测模型 ED-DLSTM,通过编码流域静态属性和气象驱动,利用全球超 2 千个水文站数据进行模型训练,尝试解决全球范围内有监测数据流域和无监测数据流域径流预测问题。

研究亮点:

  • ED-DLSTM 模型在有监测数据和无监测数据流域的洪水预报方面均表现优越

  • 首次对多种水文人工智能模型进行了训练,并在全球范围内提供了对比分析

  • 空间属性的编码明显提高了时间序列的预测能力,并且很好地解释了可迁移性

论文地址:
https://doi.org/10.1016/j.xinn.2024.100617

数据集:分布差异性显著的流域数据

该研究采用的训练数据集来自美国 (482 个流域)、英国 (406 个流域)、中欧 (461 个流域)、加拿大 (740 个流域) 等地共计 2,089 个流域,如下图所示:

流域位置分布及1950年至2000年期间若干平均年变量记录

数据集下载地址:

美国 CAMELS: https://go.hyper.ai/nCkDT

英国 CAMELS-GB: https://go.hyper.ai/DdUEf

中欧 LamaH-CE: https://go.hyper.ai/rMHSO

智利 CAMELS-CL: https://camels.cr2.cl/

加拿大 HYSETS: https://go.hyper.ai/l4etG

总体而言,与美国和加拿大西部地区相比,东部地区总体降水量和土壤含水量普遍较高;英国西部和北部苏格兰高地地区普遍表现出较高的年平均土壤含水量和降水量,而其他变量的变异性相对较低;在中欧,奥地利地区大部分流域地势高、降水多、气温低;落基山脉贯穿美国和加拿大,其附近盆地地势较高,降水量和土壤含水量较高,气温较低,复杂的蒸散和融雪效应使得径流的变异系数更大。

在研究人员看来,上述这些区域流域的分布差异性显著,空间变异性足够大,确保了数据的多样性,足以验证 ED-DLSTM 的跨区域流量预报 (cross-region streamflow forecasting, CSF) 能力。

模型架构:新颖的跨区域时空集成模型 ED-DLSTM

在本论文中,研究人员提出了一种新颖的跨区域时空集成模型 ED-DLSTM,该模型融合了静态空间属性和时间强制属性 (temporal forcing attributes), 以实现跨区域流量预测,下图显示了 ED-DLSTM 模型的整体架构:

ED-DLSTM 模型框架

ED-DLSTM 模型采用了编码器-解码器 (encoder-decoder) 结构, 包括 2 个共生 (symbiotic fashion) 方式运行的子模型,更适合通过联合建模捕捉全球和局部流域关系。如上图所示,模型的输入为多模态数据,输入的空间静态网格属性数据 (spatial static grid attribute data) 形成了一个相对稀疏的矩阵。

其中,编码器 (Encoder) 结合了静态信息 (static attributes) 和强制数据 (forcing data), 静态数据包括数字高程模型 (DEMs)、雪覆盖范围、土壤含水量、地下水位深度、潜在蒸散量、干旱指数和河道几何形状,这些属性指导模型区分不同区域的水文行为;强制数据包括降水、太阳辐射、气温、露点温度、地表气压、东风和北风速度,这些数据具有 24 小时的时间分辨率。

静态信息采用普通卷积来整合通道,并使用残差卷积提取空间静态属性。然后,利用空间金字塔池化 (SPP) 将不同区域的矩阵信息映射到一个固定的高维空间,从而对特定区域进行空间编码。随后,编码后的向量被用作 LSTM 单元的初始状态层。

解码器 (Decoder) 负责使用反向 LSTM 层将高级特征映射到预测的流量值。 研究人员选择在最后一个 LSTM 单元执行流量映射,因为 Seq2Seq 模型的完整信息应该在最后进行解码,这个解码层可以逆向捕捉信息趋势。研究人员可以分别为不同流域的各种水文响应行为进行编码和解码。

最终,该网络学习到从动态时间序列到区域静态属性下观测流量的映射关系,从而提供一致的 CSF 能力,使得模型能抽象地「意识」到不同流域的水文响应特征。

研究结果:ED-DLSTM 模型具备出色的预测能力和泛化能力

首先,研究人员对 2010 年 1 月 1 日至 2012 年 1 月 1 日期间 ED-DLSTM 模型的预测可信度进行了比较评估,并以 Nash-Sutcliffe 效率 (NSE)进行定量评估。

  • NSE (取值范围为(-∞,1]) 用于评估水文模型模拟结果 (NSE 值越接近 1,表示模型模拟结果与实际观测值越吻合,NSE 值小于 0 表示模型模拟结果较差)

ED-DLSTM 在数据集上产生的 NSE 结果

如上图所示:

  • 在美国地区,所分析的 482 个流域中,有 438 个流域的 NSE 超过 0,平均 NSE 为 0.78,中位数 NSE 为 0.80。
  • 在加拿大地区,所分析的 740 个流域中,有 695 个流域的 NSE 超过 0,平均 NSE 为 0.80,中位数 NSE 为 0.82。
  • 在英国地区,所分析的 406 个流域中,有 391 个流域的 NSE 超过 0,平均 NSE 为 0.68,中位数 NSE 为 0.70。
  • 在中欧地区,所研究的 461 个流域中,有 433 个流域的 NSE 超过 0,平均 NSE 为 0.73,中位数 NSE 为0.79。

总体而言,那些降雨量较大或径流系数较大的流域通常会产生更好的预测结果。值得注意的是,其中 81.8% 的流域平均 NSE 高于 0.6,凸显了 ED-DLSTM 模型出色的预测能力和泛化能力。

基于上述 4 个区域的预训练模型 (北半球),研究者对智利 (南半球) 的 160 个全新陌生流域 (未使用任何历史监测数据训练) 进行预测,以检验模型在无监测数据流域的预测能力,得到结果如下图所示:

智利 160 个新流域获得的模型泛化结果

当直接在智利新地区部署 ED-DLSTM 时,在美国预训练的模型显示 76.9% 的流域 NSE 大于 0;在加拿大预训练的模型在 66.2% 的流域中实现了大于 0 的 NSE;在中欧预训练的模型在 53.1% 的流域中实现了大于 0 的 NSE;在英国预训练的模型表现最差,只有 42.5% 的流域的 NSE 大于 0。

不同预训练模型的预测结果显现出了较强的空间分布一致性,展现了 AI 在未计量流域进行水流量及洪水预测的巨大潜力。

当预训练模型在智利 160 个无监测数据流域进行预测时,通过 ED-DLSTM 编码器对每个流域的特征进行可视化 (下图左侧) 和相似性分析 (下图右侧),发现预训练模型之间的平均编码相似度比随机噪声高 38.4%,说明 ED-DLSTM 的嵌入层不是无序的随机信号,而是模型识别和利用的高维特征信息,证明了 AI 能够在不同流域学习到「水文通识」。

参数可视化和可解释性

AI + 水文,助推智慧水利发展

洪水预测是水文学的重要分支之一,说起水文科学,我国先秦已有雨量、水位的测定;战国时,秦国「田律」规定地方官吏需及时上报雨量及受益、受害田亩;而后的历朝历代都有报汛制度。

水文预报是防汛抗旱决策、水资源合理利用、生态环境保护以及水利水电工程运行管理的重要依据。 传统的水文预报方法多采用基于过程驱动的水文模型结合水力学模拟复杂的物理过程,但是高质量的物理数据、复杂的数学工具和大量简化的假设给校准和验证带来了挑战。随着人工智能技术和交叉学科的发展,许多研究者对人工智能水文预报模型展开了深入研究。

2019 年,来自武汉大学水资源与水电工程科学国家重点实验室的研究团队提出了 LSTM 长短期记忆神经网络与 batch-size 学习、正则化、drop out neuron 相结合的深度学习网络,并应用于三峡水库入库洪水预报。从预报合格率、洪峰相对误差、均方根误差和基准拟合度 4 个指标综合评估可知,相比 BPNN 静态神经网络和 NARX 动态神经网络,LSTM 长短期记忆神经网络结合 3 种深度学习的辅助算法,有效提高了三峡水库入库洪水的预报精度。

2020 年,西北工业大学研究团队与黄河水利科学研究院合作,通过电子化黄河水文年鉴,以及汇编土壤、气候、地形及地质等多种要素,建立起国内首个成体系的黄河流域水文大数据。 在模型算法方面,他们突破了单站点智能预测模型,首创了站点群智能预测模型,并攻克了水文领域十大难题之一的历史资料缺失区域洪水预测问题,显著提升了洪水预测精度并延长了预见期。智能预测算法已成功应用于黄土高原主要产沙区、黄河中下游三门峡至花园口区间未控区、黄河上游唐乃亥等区域,显著提高了洪水预报能力。

2024 年 3 月,来自 Google Research 洪水预测团队的 Grey Nearing 及其同事开发的人工智能模型,通过利用现有的 5,680 个测量仪进行训练,可预测未测量流域在 7 天预测期内的日径流。随后,他们将该人工智能模型与全球领先的短期和长期洪水预测软件——全球洪水预警系统 (GloFAS) 进行了对比测试。

结果显示,该模型同日预测准确率与当前系统相当甚至更高。此外,该模型在预测重现窗口 (return window) 期为五年的极端天气事件时,其准确性与 GloFAS 预测重现窗口期为一年的事件时的准确性相当或更高。相关研究论文以「Global prediction of extreme floods in ungauged watersheds」为题,已发表在权威科学期刊 Nature 上。(点击查看详细报道:击败全球 No.1 系统、覆盖 80+ 国家,谷歌洪水预测模型再登 Nature)

如今,智慧水利已经由最初的物联网升级为了智联网,即物联网设备采集数据,AI 基于数据进行分析预测,并将预测结果实时反馈给相关人员,在洪水事件来临前完成群众疏散、公共财产保护等。未来,基于 AI 技术发展的智慧水利,将持续促进水利规划、工程建设、运行管理和社会服务的智慧化,提升水资源利用效率和水旱灾害防御能力,改善水环境和水生态。

参考资料:

1.https://mp.weixin.qq.com/s/sKPl55AEVf9GoXsLv0-8Hg

2.https://www.hanspub.org/journal/PaperInformation?paperID=28786

3.https://www.nwpu.edu.cn/info/1198/75728.htm

最后推荐一个「创作者激励计划」,感兴趣的小伙伴扫码即可参与!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/649067.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

第一届 长城杯 总决赛wp

第一届 长城杯 总决赛 - Ahisec 第一阶段 Zip_guessinteger 第一层bkcrack攻击部分明文,注意偏移 ​ ┌──(root㉿Ten)-[~/tools/Misc/bkcrack] └─# ./bkcrack -C zip_guessinteger.zip -c breakthroughentry.txtflag.txt.zip -p 1.txt -o 30 bkcrack 1.6.1 …

一个给新手进阶的IAT加密壳

前言 这篇文章中介绍了IAT加壳与解壳的全过程,并用Ollydbg进行逆向分析,说明这个壳的鸡肋的之处,最后给出了核心源代码。 必备基础 必须很熟悉PE结构,特别是导入表的双桥结构。 IAT(Import Address Table),导入地址…

Shiro+Jwt+Redis

如何整合ShiroJwtRedis,以及为什么要这么做 我个人认为 ①为什么用shiro:“ShiroJwtRedis”模式和“单纯的shiro”模式相比,主要用的是shiro里面的登录认证和权限控制功能 ②为什么用jwt:“ShiroJwt”模式和“ShiroCookie”模式相…

怎么搭建微信留言板功能

在信息爆炸的时代,微信已经成为了我们日常生活中不可或缺的一部分。它不仅仅是一个简单的聊天工具,更是一个充满无限可能的营销平台。今天,我要向大家介绍的是如何在你的微信平台上搭建一个独具特色的留言板功能,让用户能够自由发…

【Flutter】Dialog组件PageView组件

🔥 本文由 程序喵正在路上 原创,CSDN首发! 💖 系列专栏:Flutter学习 🌠 首发时间:2024年5月27日 🦋 欢迎关注🖱点赞👍收藏🌟留言🐾 目…

需求跟踪矩阵是什么?怎么创建?一文详解

一、什么是需求跟踪矩阵 对项目经理或产品经理来说,需求清单肯定不陌生,那什么是需求跟踪矩阵呢? 需求跟踪矩阵(Requirement Track Matrix,简称RTM ),是把产品需求从其来源连接到能满足需求的…

Spring中@Component注解

Component注解 在Spring框架中,Component是一个通用的注解,用于标识一个类作为Spring容器管理的组件。当Spring扫描到被Component注解的类时,会自动创建一个该类的实例并将其纳入Spring容器中管理。 使用方式 1、基本用法: Co…

[AI OpenAI] OpenAI 安全更新

AI 首尔峰会中分享我们的实践 我们自豪地构建并发布了在能力和安全性方面都处于行业领先地位的模型。 超过一亿用户和数百万开发者依赖于我们安全团队的工作。我们将安全视为我们必须在多个时间范围内投资并取得成功的事项,从使今天的模型与我们未来预期的更具能力…

【Spring Cloud】远程调用

目录 Spring Cloud Netflix Feign简介前言Feign是什么OpenFeign组件和Spring Cloud OpenFeignOpenFeign组件Spring Cloud OpenFeign OpenFeign-微服务接口调用需求说明1. 启动Eureka Server服务2.创建两个项目,将其注册到Eureka Server3.在服务提供者中添加业务处理…

如何处理逻辑设计中的时钟域

1.什么是时钟域 2.PLL对时钟域管理 不管是否需要变频变相,在FPGA内部将外部输入时钟从专用时钟引脚扇入后先做PLL处理。如何调用pll,见另一篇文章。 约束输入时钟 creat_clock -period 10 -waveform {0 5} [get_ports {sys_clk}] 3.单bit信号跨时钟…

【Linux进程篇】父子进程fork函数||进程生死轮回状态||僵尸进程与孤儿进程

W...Y的主页 😊 代码仓库分享💕 前言:上篇文章中我们认识了进程,可执行程序在内存中加载运行被称作进程,而操作系统是通过给每一个可执行程序创建一个PCB来管理进程的。并且学习了一些查看进程的指令,认识…

Flask 蓝图路由的模块化开发

基于 Flask 蓝图路由的模块化开发 1. 编程目标 为了提高Flask应用的可维护性和可扩展性,我们通过使用Flask的蓝图(Blueprint)功能,可以将不同的功能模块拆分到独立的文件中,方便后续的开发和维护。 2. 项目结构 项目结构树如下&#xff1…

助力企业标准化搭建--图框模板的创建

古有秦皇书同文、车同轨,今各行各业都有国际标准、国家标准,其目的就是为了标准化、统一化,由此可见标准化的重要性;一个企业若是想规范员工的操作,推行标准化也很重要;因此对于需要绘制电气图纸的行业来说…

从0开始学统计-秩和检验

1.什么是秩和检验? 秩和检验,也称为Wilcoxon 秩和检验,是一种非参数统计检验方法,用于比较两个独立样本的中位数是否有显著差异。它不要求数据满足正态分布假设,因此适用于小样本或者数据不满足正态分布假设的情况。 …

2024年怎么下载学浪app视频

想要在2024年紧跟潮流,成为一名优秀的学浪用户吗?今天就让我们一起探索如何下载学浪app视频吧! 学浪视频下载工具打包 学浪下载工具打包链接:百度网盘 请输入提取码 提取码:1234 --来自百度网盘超级会员V10的分享…

性能怪兽!香橙派 Kunpeng Pro 开发板深度测评,带你解锁无限可能

性能怪兽!香橙派 Kunpeng Pro 开发板深度测评,带你解锁无限可能 文章目录 性能怪兽!香橙派 Kunpeng Pro 开发板深度测评,带你解锁无限可能一、背景二、香橙派 Kunpeng Pro 硬件规格概述三、使用准备与系统安装1️⃣、系统安装步骤…

字节面试:百亿级数据存储,怎么设计?只是分库分表吗?

尼恩:百亿级数据存储架构起源 在40岁老架构师 尼恩的读者交流群(50)中,经常性的指导小伙伴们改造简历。 经过尼恩的改造之后,很多小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试机会&#xff0c…

cuda 11.6 pytorch安装

在安装之前,需要先配置GPU环境(安装CUDA和CudaNN) 命令行输入nvidia-smi,查看驱动信息 nvidia-smi 安装相应的CUDA 和CUDANN 验证:输入nvcc --version 或者nvcc -V 进行检查 nvcc --version nvcc -V 在anaconda里创建环境 con…

彭永东所交“答卷”道尽万般无奈,贝壳找房营收、利润双双锐减

就今年第一季度业绩披露后两日的股价变动来看,贝壳找房(下称“贝壳”)似乎并未在港股和美股市场取得预期的效果。 港股市场,截至5月24日收盘,贝壳-W(HK:02423)报收43.9港元/股,当日跌…

海外网红营销新趋势:“快闪式”营销如何迅速提升品牌曝光度

在当今数字化时代,海外网红营销已成为品牌迅速触达全球消费者、提升品牌曝光度和刺激销售的重要手段。其中,“快闪式”营销以其独特的时效性、创意性和互动性,成为品牌与海外网红合作的新趋势。本文Nox聚星将和大家探讨如何利用海外网红的影响…