强对流降水临近预报建模与优化
对问题一,为了实现基于前一小时(10帧)的实测雷达观测量(ZH、ZDR、KDP),对后续一小时(10帧)的ZH进行预报,本文首先建立了线性拟合与RMSE双驱动的局部离群因子检测(LOF)数据清洗模型,分别检测、去除了数据在时间和空间分布内的异常点,在数据清洗模型中,LOF异常阈值设置为LOF > 2。然后,本文系统性的分析了降雨各微物理参数对降雨气象模型、降雨散射参数、降雨雷达观测量产生影响的物理机理,说明了
降雨气象雷达观测量随降雨量产生变化的本质是各尺寸雨滴粒子散射特性随不同雨滴谱
相互耦合的结果。最后,基于降雨雷达观测量参数产生的物理机理,选用 NARX-RNN模型构建神经网络,完成了基于前时间对后续时间雷达观测量的预估,结果表明相比较于测
量真值,预估值相关性好(> 0.9),误差低(FRMSE < 1.7),说明该网络实现了对后续时间雷达观测量的预估,模型性能优异。
针对问题二,为了解决问题一模型中模型预报结果不清晰、不完备的模糊效应问题,
本文首先对模糊效应产生机理进行了研究,分别对网络模型进行输入层信息挖掘和输出层
信息细化,使网络输入层特征信息增加336.67%,网络输出层信息增加133.33%,实现了信息补足,缓解了模糊效应。在输入层上,本文引入雷达观测量三维梯度、降雨雷达强点、
双偏振雷达类型参数作为模型补充输入,实现了输入层信息挖掘。在输出层上,本文分别
从雷达回波细节和气象微物理参数两方面进行了扩充。在雷达回波细节扩充方面,本文基
于双偏振雷达运作机理,形成 ZH,ZV,ZDR,KDP双极化四输出完备雷达参数数据集,该数据集完整阐述了两个极化方向上的回波数据以及他们之间的内在关系。在气象微物理细
节扩充方面,基于问题一降雨雷达观测量生成机理,推演计算生成包含气象类型、降水粒
子大小、含水量信息的降雨气象微物理参数集,为含水量预估提供进一步支撑。最后,对
扩充后的网络进行训练,完成了对上述输出层参数的预估,并与问题一进行了对比,结果
表明网络预估相似度提升5.37%,网络误差降低30.54%,泛化性能提升46.94%,网络性能显著提升。
针对问题三,为了实现基于雷达观测量(ZH、ZDR;不可使用KDP),对降雨量实现定量估计,本文建立了测算融合的 BP 神经网络降水量反演模型。首先,基于问题一中讨论分析的降雨气象雷达观测量生成物理机理,利用自研软件,仿真生成不同降雨量下的气象
散射特性,形成不同降雨量下的ZH、ZDR仿真数据集,与测试真值对比结果表示仿真数据生成可靠(CC > 0.8; FRMSE < 2.0)。随后,将仿真与实测数据融合,进一步基于第二问,以雷达观测量扩充降雨气象微物理参数,形成测算融合数据集。最后,基于测算融合数据
集,构建BP神经网络。结果表明,对降雨量的预估可靠性高(CC > 0.8; FRMSE < 2.0),网络性能优异。
针对问题四,为了对双偏振雷达在强对流降水中的贡献进行定量评估,并优化网络融
合策略,实现模型针对降雨“突发性”、“局地性”的应对能力提升,本文分别从熵权-TOPSIS
评估模型构建和多模型网络融合两方面完成了问题要求。首先,本文基于第二问、第三问
研究成果,形成NARX-RNN-BP多模型融合神经网络模型,作为后续评估基准网络模型。然后,调整基准模型输入层信息,分别对单偏振信息(仅ZH)和不同等级的双偏振信息(仅ZDR、仅KDP、ZH + ZDR和ZH、ZDR、KDP全参数)五种网络输入进行网络搭建,并对预估结果进行相关系数(CC)、均方根误差(RMSE)、相对偏置(RB)和分数均方差(FRMSE)四性能计算。随后,基于熵权-TOPSIS模型构建评估模型,对五种网络输出进行评分,结果表明全参数相对评分0.3520,排名第一,相比最低评分仅ZH组提高97.13%。接着,分别从局地性和突发性对网络进行优化。突发性方面,基于仿真数据构建了“是否有突发降雨”的随机森林分类模型,分类模型准确度达到99.6%,完成了数据集的突发性标签制作。局地性方面,基于第二问降雨强点提取,对降雨强点构建 K-Means 分类模型,生成了局地雨区,完成了数据集的局地性标签制作。最后,对优化网络进行性能测试和评估,结果表明模型
预估相似度极高(CC > 98%),误差极低(FRMSE < 1.2),相对模型分数提升 10.71% 到39.26% 不等,说明模型针对局地性与突发性泛化能力优异。
关键词:离群因子检测(LOF);NARX-RNN神经网络;雷达强散射点;测算融合;BP
神经网络;熵权-TOPSIS评估模型;随机森林模型;K-Means算法
一、问题重述
1.1 问题背景
我国地域辽阔,自然条件复杂,因此灾害性天气种类繁多,地区差异大。其中,雷雨
大风、冰雹、龙卷、短时强降水等强对流天气是造成经济损失、危害生命安全最严重的一类灾害性天气[1]。以2022年为例,我国强对流天气引发风雹灾害造成的死亡失踪人数和直接经济损失分别占73%和69%。由于强对流天气具有突发性和局地性强、生命史短、灾害重等特点,其短时(0~12小时)和临近(0~2小时)预报通常也是天气预报业务中的难点[2]。
传统强对流天气临近预报主要依靠雷达等观测资料,结合风暴识别、追踪技术进行雷
达外推预报,即通过外推的方法得到未来时刻的雷达反射率因子,并进一步使用雷达反射率因子和降水之间的经验性关系(即 Z-R 关系)估计未来时刻的降水量[3]。近年来,随着大数据的积累和计算机算力的发展,人工智能及深度学习技术发展迅速。深度学习方法是
一类数据驱动的方法,理论上其性能随着训练数据量增大而提升,因此很适合有大量雷达
观测数据积累的短临预报领域。目前国际上主要有两类基于深度学习的短临预报模型,一类基于卷积神经网络(Convolutional Neural Networks, CNNs),如U-Net等模型[4];另一类基于循环神经网络(Recurrent Neural Networks, RNNs),如ConvLSTM、DGMR等模型
[5]。
雨滴在降落过程中受到空气阻力作用,形状可呈扁球形或馒头形,并且一般来说越大
的雨滴越扁。因此,雨滴对水平偏振(电场振动方向在水平面内)的电磁波和垂直偏振(电场振动方向在垂直平面内)的电磁波的反射特征是不一样的[6]。传统雷达仅能发射和接收
一个偏振方向上的电磁波,而新型的双偏振雷达可同时发射和接收在水平和垂直两个偏振
方向的电磁波,可以根据两个偏振方向上的回波的强度差别、相位关系等信息获得降水粒子的大小、相态、含水量等信息[7],这些信息被统称为微物理信息。近年来研究表明,双
偏振雷达变量反映的微物理信息里包含了对流系统的演变状态、空间动力结构等关键信息
[8]。因此,双偏振雷达变量的应用,理论上对于强对流预报有重要意义。
1.2 问题重述
基于以上研究背景,为了更好地应用双偏振雷达改进强对流降水短临预报,本文需要解决如下问题:
问题一:建立数据预清理模型及未来雷达观测量临近预报模型
利用题目提供的数据,建立某种数据清洗模型,实现实测数据预清洗,剔除异常值。接着,建立某种模型,实现对强对流的临近预报,要求临近预报的输入为前面一小时(10帧)的雷达观测量(ZH、ZDR、KDP),输出为后续一小时(10帧)的ZH预报。
问题二:建立去模糊化临近预报模型
在第一问的基础上,面对预报总是趋于模糊的问题,优化问题一的模型或重新建立某种新模型,实现以缓解预报的模糊效应,使预报出的雷达回波细节更充分、更真实。
问题三:建立基于雷达观测量的实时降水量模型
利用题目提供的ZH、ZDR和降水量数据,设计适当的数学模型,利用ZH及ZDR进行定量降水估计。模型输入为ZH和ZDR(不可使用KDP变量),输出为降水量。
问题四:建立双偏振雷达资料的预报贡献评估和高泛用性的高精度降雨临近预报模型
利用一、二、三问模型基础,设计某种数学模型实现评估双偏振雷达资料在强对流降
水临近预报中的贡献。随后,基于某种方式优化数据融合策略,是模型可以更好地应对突发性和局地性强的强对流天气。
二、模型的假设
为了对进行准确、合理的描述,我们对关于降水临近预报模型做出以下假设: (1)单位时间内可用于预测的数据量异常值数据不高于 10%,输入量在剔除异常值后仍满足网络最低需求;
(2)雷达系统在探测工作中的大气衰减造成的影响可以忽略;
(3)数据所使用的双偏振雷达的性能参数与某个“标准单偏振雷达”ZH值相同。 (4)雷达观测数据不因昼夜、气温因素造成偏差,并且探测范围内不存在非气象干扰(如鸟群、飞机等);
(5)雷达观测数据与降水实况之间存在稳定的统计关系;
(6)雷达系统的探测范围内仅存在水粒子气象;
(7)在不同的降雨中,相同尺寸的雨滴散射特性与雷达参量相同;
三、符号说明
No. | 符号 | 含义 |
1 | ZH | 水平雷达反射率因子 |
2 | ZDR | 差分反射率 |
3 | KDP | 比差分传播相移 |
4 | DP | 差分传播相移 |
5 | DP | 雷达后向散射回波相位差 |
6 | s | 后向散射差分相移 |
7 | h R | 雨顶高度 |
8 | HV | 杂波误差 |
9 | RNN | 循环神经网络 |
10 | NARX | 带有外部输入的非线性自回归神经网络 |
11 | ZV | 垂直雷达反射率因子 |
四、问题一模型的建立、分析与求解
4.1 问题分析
问题一需要根据附件一文件夹“NJU_CPOL_update2308”,下属包含“DBZ”,“KDP”,“ZDR”等次级文件,基于附件内数据建立可提取用于强对流临近预报双偏振雷达资料中微物理特征信息的数学模型。实现基于前面一小时(10帧)的雷达观测量(ZH、ZDR、KDP),对后续一小时(10 帧)的 ZH 进行预报。观察题目所给附件分析,附件内包含了不同雷达作用距离下的雷达针对不同次降雨观测的随时间帧变化的网格化雷达实测数据。因为雷达
实测数据受各种因素影响,在进行数学建模分析预测前首先要对数据进行清洗。随后,由
于数据量巨大充足,可以根据“DBZ”,“KDP”,“ZDR”三数据随时间帧的变化规律基于神经网络实现未来雷达参数预测。
问题一建模流程如下所示:
|
|
|
| ||||||||||
|
图1 问题一思路流程图
数据清洗与数据集制作模型:基于线性拟合与 RMSE 双驱动的局部离群因子检测(LOF)进行数据清洗。首先,对同一data_dir、同一雷达作用距离、同一网格位置处的同一雷达参数进行随时间帧的线性拟合,并记录每一时间帧下的均方根误差(RMSE),随后,基于 LOF 方法对空间位置下的 RMSE 进行异常值分析筛除,最终获得清洗后的“可信”数据集。
物理机理驱动的未来雷达参数预测模型:对降雨的雷达散射特性从降雨粒子级进行分
析,得到同一降雨条件下随降雨量变化(即时间帧变化)对雷达观测量(ZH、ZDR、KDP)的映射关系,即降雨雷达特性随时间变化的物理本质是雨滴散射特性在不同谱参数下的雨
滴谱下以不同方式排列组合。基于这一物理本质和题目需求,建立了NARX-RNN神经网
络随后,将清洗后数据进行标签化,从 3 种雷达作用距离,258 个 data_dir 共计无数时间帧例中随机抽取充足样例基于物理机理驱动构建神经网络构建。基于 NARX-RNN 模型,通过前一小时雷达观测量(ZH、ZDR、KDP),预测后一小时雷达观测量(ZH),并在网格量级上进行验证与真实值对比。
4.2 数据清洗与数据集制作
1) 寻找异常值位置
双偏振雷达在测试气象环境时,分别针对不同雷达、不同降雨样本进行了雷达观测量(ZH、ZDR、KDP)和降雨量记录。但在实际测量中,由于各种未知或不可控因素,使得最终数据中往往存在异常数据(如突然断裂式上升、下降、清零等等)。这对于后续建模分析,尤其是神经网络分析会造成严重影响。因此,在进行神经网络构建前,必须要对异常值进行清洗。
为了对数据进行清洗和数据,首先需要对数据构成进行研究分析,通过观察,本题附件包含的数据主要由不同雷达、不同观测场景,不同时间帧下整体区域网格块内的雷达观测数据和降雨数据。这里取data_dir_001\frame_001为例,雷达观测量(ZH、ZDR、KDP)取1.0km数据,如图:
(a) 降雨量
(b) DBZ
六、问题三模型的建立、分析与求解
6.1 问题分析
问题三需要基于附件一、二文件夹“NJU_CPOL_update2308”中下属包含的“DBZ” “ZDR”两组次级文件和“NJU_CPOL_kdpRain”文件,建立可进行定量降水估计模型。实现基于的雷达观测量(ZH、ZDR;不可使用KDP),对后降水量进行定量估计。在第二问中,我们已经探讨明白,只用 ZH、ZDR 进行降雨量预测会产生“模糊效应”,因此还需要对模型进行扩展。因此,本文理解首先基于物理机理研究,利用自研的复杂背景环境散射特性仿真软件,生成不同降雨量下的气象散射特性,并进一步形成不同降雨量下的 ZH、ZDR仿真数据集。然后,将生成的仿真数据集与题目提供的测量数据集,在第二问和仿真软件的基础上,聚焦 ZH、ZDR对气象微物理参数的影响,最终建立基于测算融合的 BP 神经网络降水量反演模型。
仿真数据生成:基于降雨气象模型和降雨散射特性模型,利用自研的复杂背景环境散
射特性仿真软件,仿真生成不同降雨量下的气象散射特性,形成不同降雨量下的ZH、ZDR
仿真数据集,为后续测算融合提供数据基础。
测算融合 BP 神经网络:基于仿真获取的不同降雨量下的 ZH、ZDR仿真数据集,融合题目附件提供的降雨实测数据,形成ZH、ZDR测算融合数据集。然后在第二问和仿真软件对物理机理的探讨基础上,聚焦 ZH、ZDR对气象微物理参数的影响,进一步构建 BP 神经网络,实现基于雷达观测量(ZH、ZDR)的降雨量分析模型。
因此,问题三的基于测算融合的BP神经网络降水量反演模型流程图如下:
|
|
|
|
|
BP神经网络降水量反演模型
图 23 问题三思路流程
6.2 仿真数据生成
6.2.1 降雨气象参数
基于自研的复杂环境背景散射特性仿真软件,通过控制降雨各种微物理气象参数,可
以实时生成不同参数控制的降雨气象模型,从而进一步生成降雨散射模型。软件操作主界
面如下图:
图24 软件界面展示
在生成降雨气象模型时,存在如下控制参数:
(1) 降雨类型:
毛毛雨:很小的雨,特点为雨滴小,降雨量低;
广布雨:最常见,广泛分布、涉及区域广的降雨;
雷暴雨:带有强烈雷暴的降雨;
对于三种降雨,基于问题一中对降雨微物理参数的研究与讨论,其主要区别在于雨滴尺寸分布的谱型存在差异,基于Joss等人研究结果[15],这三种降雨类型对应雨滴谱为:
八、模型的评价
8.1 模型的优点
(1)基于线性拟合和RMSE的LOF异常值检测模型,在时间帧和空间比较上分别搜寻异常点,基于 LOF 方法对空间位置下的 RMSE 进行异常值分析筛除,最终获得清洗后的“可信”数据集。
(2)输入挖掘-输出细化的双驱动去模糊化临近预报模型,进一步挖掘数据,扩充模型输入,使网络模型输入更有条理,更有深度。同时,进一步挖掘双偏振雷达参数与参数
之间,参数与降雨微物理特性之间的物理机理,使模型预报的结果在雷达回波纬度和气象微物理参数纬度两方面都更清晰,更细节。
(3)基于测算融合的BP神经网络降水量反演模型,基于降雨气象模型和降雨散射特性模型,利用自研的复杂背景环境散射特性仿真软件,仿真生成不同降雨量下的气象散射特性,形成不同降雨量下的ZH、ZDR仿真数据集,为测算融合提供了数据基础。
(4)评估模型建立与双偏振雷达贡献度评估中,通过优化数据融合的高泛化性网络模型,在神经网络中输入层加入考虑不同位置、降雨突发与否,实现对突发性和局地性强的强对流天气的预估。
8.2 模型的缺点
在建模的过程中,对问题进行了一定的条件简化,建模模型可能无法完全捕捉到所有
的系统变量和相互关系,导致预测的准确性受到一定限制,在实际的应用中具有一定的局限性。
8.3 模型的推广
将降雨预测模型与其他应用和系统整合,提供实时、准确的降雨预测信息,以支持决
策和规划。例如,将降雨预测与水资源管理、灾害预警系统或农业生产等领域进行集成,以实现有效的资源调度和灾害管理。
参考文献
[1] 魏庆,胡志群,刘黎平. 双偏振雷达差分传播相移的五种滤波方法对比分析[J]. 成都信 息工程学院学报,2014,29(6):596-602.
[2] 郑永光, 张小玲, 周庆亮, 端义宏, 谌芸, & 何立富. (2010). 强对流天气短时临近预报 业务技术进展与挑战. 气象,36(7),33-42.
[3] Chen G, Zhao K, Zhang G, et al. Improving polarimetric C-band radar rainfall estimation with two-dimensional video disdrometer observations in Eastern China[J]. Journal of Hydrometeorology, 2017, 18(5): 1375-1391.
[4] Pan, X., Lu, Y., Zhao, K., Huang, H., Wang, M., & Chen, H. (2021). Improving Nowcasting of Convective Development by Incorporating Polarimetric Radar Variables Into a Deep‐Learning Model[J]. Geophysical Research Letters, 48(21), e2021GL095302. [5] Zhang, Y., Long, M., Chen, K., Xing, L., Jin, R., Jordan, M. I., & Wang, J. (2023). Skilful nowcasting of extreme precipitation with NowcastNet[J]. Nature, 619, 526–532.
[6] Kumjian M R. Principles and Applications of Dual-Polarization Weather Radar. Part I: Description of the Polarimetric Radar Variables[J]. Journal of Operational Meteorology, 2013, 1.
[7] 刘陈帅,张阿思,陈生. 基于S波段双极化雷达的变分法的定量降水估计算法[J]. 热带气 象学报,2022,38(3):422-432.
[8] Zhao K, Huang H, Wang M, et al. Recent progress in dual-polarization radar research and applications in China[J]. Advances in Atmospheric Sciences, 2019, 36: 961-974.
[9] 张鹏,刘西川,周则明,等. 基于实测雨滴谱数据的微波链路和天气雷达降水估计关系研 究[J]. 气象,2021,47(7):843-853.
[10] 任嘉伟. 小样本下的双偏振雷达降水粒子分类研究[D]. 天津:中国民航大学,2019. [11] Ravuri, S., Lenc, K., Willson, M., Kangin, D., Lam, R., Mirowski, P., ... & Mohamed, S.
(2021). Skilful precipitation nowcasting using deep generative models of radar[J]. Nature, 597, 672-677.
[12] 郑佳锋,张杰,朱克云,等. 双偏振天气雷达测雨误差及水凝物识别分析[J]. 气象科 技,2014,42(3):364-372.
[13] 周嘉健. 利用天气雷达反射率因子反演降水性层状云中粒子平均直径的研究[D]. 江苏: 南京信息工程大学,2017.
[14] 郭立新, 弓树宏, 吴振森, 等. 对流层传播与散射及其对无线电系统的影响[M]. 西安 电子科技大学出版社, 2018.
[15] 卢昌胜. 微波毫米波雨衰减预测模型研究[D]. 西安电子科技大学,2018.
[16] 李宏伟,杨国为,王晓艳. 基于改进遗传算法的 BP 网络在降雨量预测中的应用[J]. 青岛 大学学报(工程技术版),2010,25(1):10-14.
[17] 欧阳可赛,黄中华,于俊朋. 基于随机森林的雷达目标多维特征检测方法[J]. 现代雷 达,2022,44(7):38-42.
代码
void boxingtu::on_calculate_clicked(){
tmpvctor_up.clear();
tmpvctor_down.clear();
dnow.clear();
rcs_d.clear();
power_d.clear();
double G1 = Gmax; // 设置G1的值为Gmax
phi0 = 0.;// 设置phi0的初始值为0
int jihua = beam_jihua; // 设置jihua的值为beam_jihua
ui->progressBar->setVisible(true); // 设置进度条可见
ui->label_4->setVisible(true); // 设置label_4可见
ui->progressBar->setRange(0,jmax1 * 1.2); // 设置进度条范围
ui->progressBar->setWindowModality(Qt::WindowModal); // 设置进度条模态窗口 ui->progressBar->setValue(jmax1 * 0.1); // 设置进度条的初始值
// 开始计算
if(ywy_class==1){
if(cloud_class==1||cloud_class==2){
iCloud_RCS(f0, pt, G1, beam, pw, 30.); // 根据条件调用iCloud_RCS函数 ui->progressBar->setValue(jmax1 * 0.2); // 更新进度条的值
}else{
wCloud_RCS(f0,pt,G1 ,beam,pw,30.); // 根据条件调用wCloud_RCS函数 ui->progressBar->setValue(jmax1 * 0.2); // 更新进度条的值
}
}else if(ywy_class==2){
fog_RCS(f0,pt, G1 ,beam,pw,30.); // 根据条件调用fog_RCS函数 ui->progressBar->setValue(jmax1 * 0.2); // 更新进度条的值
}else{
Rain_RCS(f0,pt,G1 ,beam,pw,jihua,30.); // 根据条件调用Rain_RCS函数 ui->progressBar->setValue(jmax1 * 0.2); // 更新进度条的值
}
dmax.clear(); // 清空dmax
distancemax = 0; // 将distancemax的值设为0
int jmax = jmax1; // 将jmax的值设为jmax1
double j_delt = 1./ quick_f; // 将j_delt的值设为1/quick_f