天气数据集-Jena Climate dataset

1.数据集基本信息

• Dataset Name:  mpi_saale_2021b.csv  

• Size: 26495 rows;  1 year (2021), 10 min  

• 气象学、农业、环境科学

• 开源机构:  Max Planck Institute for Biogeochemistry

2.数据特征

2.1 特征简介

• 数据共有31个特征，包括一些地理测量数据，如气压、温度、湿度、降雨量、风向等等

• 我们是希望通过各种测量数据预测气温，这里很多特征是类似的，比如不同高度下的温度就是彼此相似

2.2 特征可视化

因为这个数据随时间变化，我们直接画出数据各个特征随时间变化的趋势图, 这里用index作为x 轴:

2.3 数据特征细节

1. ‘Date Time', 日期和时间



2. ‘p (mbar)',  大气压力（毫bar) 



3. ’T (degC)',  温度（摄氏度)



4. ‘rh (%)', relative_humidity 相对湿度 (%)



5. ‘sh (g/kg)', 每千克空气中的水汽含量



6. ‘Tpot (K)', 相当位温（以开尔文为单位）



> 指在将大气气块压缩或扩张到参考压力下（通常为1000毫巴），使其在对流过程中不发生任何相变（即凝结或蒸发）的温度



  > 开尔文（Kelvin）是温度的国际单位，通常用于科学和工程领域。开尔文温度标度是绝对温度标度，以绝对零度（零度的-273.15摄氏度）作为零点。开尔文温度通常用符号 "K" 表示，不加摄氏度符号。因此，绝对零度为0K，而水的冰点是273.15K，水的沸点是373.15K。



> 空气在湿度和压力保持恒定时的温度

       

7. ‘Tdew (degC)', 露点温度（以摄氏度为单位）



  > 指空气在恒定压力下，通过降低温度使其饱和，产生露珠或霜的温度。简单来说，就是当空气中的水汽凝结成液态水或冰时的温度。露点温度通常用来描述空气中的湿度。当露点温度与空气温度相近时，空气的相对湿度较高；当它们之间的差距较大时，相对湿度较低。



  > 在气象学中，露点温度是一个重要的指标，用于衡量空气中的水汽含量以及空气的湿度。较高的露点温度意味着空气中含有较多的水汽，较低的露点温度则表示空气较为干燥。露点温度也是天气预报中的一个重要参数，因为它与空气中的水汽含量直接相关，对天气的变化和降水的可能性具有一定的预测意义。



8. ‘VPmax (mbar)', 最大水汽压力（以毫巴为单位）



> 在达到饱和状态时，液体表面的蒸汽压力达到最大值，此时液体中的分子以与气体中相同的速率从液体表面蒸发，并与气体中的分子再次凝结，这样就建立了动态平衡。



9. ’VPact (mbar)', 实际水汽压力（以毫巴为单位）



> 液体表面上的蒸汽与液体达到动态平衡时的压力。液体分子会不断从液体表面蒸发成气体，同时也会有气体分子再凝结成液体，当这两个过程达到平衡时，液体表面上就会有一定的蒸汽压。蒸汽压受温度和液体性质的影响，温度越高，蒸汽压越高；液体的性质（比如分子间力）也会影响蒸汽压的大小。



10. ‘VPdef (mbar)', 水汽压力缺失（以毫巴为单位）



> 际水汽压力与空气中饱和水汽压力之间的差值



11. ‘H2OC (mmol/mol)', 水汽含量（以毫摩尔/毫摩尔为单位）



12. ‘rho (g/m**3)', 空气密度（以克/立方米为单位）



13. ‘wv (m/s)',  风速 (米/秒）



> 强风可能伴随着暴风雨或暴风



14. ‘wd (deg)',  风向(度)



15. ‘rain (mm)',  降雨量(毫米）



> 降水的数量，可用于判断是否下雨



16. ‘SWDR (W/m**2)', 短波辐射（瓦特/平方米）



  > 短波辐射（Shortwave Downward Radiation）是指太阳短波辐射能量在大气层顶进入地面或水面的辐射能量。它是太阳能辐射的一部分，主要包括可见光和紫外光，通常以瓦特每平方米（W/m²）为单位表示。短波辐射是地球能量平衡中的一个重要组成部分，它决定了地球表面的能量收入。



  > 在气象学和气候学中，短波辐射是一个重要的气象参数，用于分析太阳辐射对地球能量平衡和气候变化的影响。它受到大气中云量、气溶胶、水汽含量等因素的影响，因此对于研究大气辐射传输和气候模拟具有重要意义。



17. ‘SDUR (s)', 短波辐射持续时间（以秒为单位）



18. ’TRAD (degC)', 地表温度（以摄氏度为单位）



19. ‘Rn (W/m**2)',  净辐射（以瓦特/平方米为单位）



20. ‘ST002 (degC)', 地表温度在 2 厘米深度的测量值（以摄氏度为单位）



21. ’ST004 (degC)', 地表温度在 4 厘米深度的测量值（以摄氏度为单位）



22. ‘ST008 (degC)', 地表温度在 8 厘米深度的测量值（以摄氏度为单位）



23. ‘ST016 (degC)',  地表温度在 16 厘米深度的测量值（以摄氏度为单位）



24. ’ST032 (degC)', 地表温度在 32 厘米深度的测量值（以摄氏度为单位）



25. ’ST064 (degC)', 地表温度在 64 厘米深度的测量值（以摄氏度为单位）



26. ‘ST128 (degC)', 地表温度在 128 厘米深度的测量值（以摄氏度为单位）



27. ‘SM008 (%)', 土壤湿度在 8 厘米深度的测量值（以百分比表示）



28. ‘SM016 (%)', 土壤湿度在 16 厘米深度的测量值（以百分比表示）



29. ‘SM032 (%)', 土壤湿度在 32 厘米深度的测量值（以百分比表示）



30. ’SM064 (%)', 土壤湿度在 64 厘米深度的测量值（以百分比表示）



31. ‘SM128 (%)'   土壤湿度在 128 厘米深度的测量值（以百分比表示）

3.数据预处理

3.1 特征选择

- 由于顺序数据index和data性质类似，这里删掉 “Data Time”

- 由于ST002(degC)-ST064(degC)是不同地表高度的温度，和我们要预测的数据T(degC)，在性质上类似，因此全部删掉

3.2 输入输出

我们计划用RNN模型来预测温度，大概是知道前n-1时刻的特征数据（包括温度），预测第n时刻的温度，因此：

我们要对shape为（26495，31）的数据进行处理。

• 先删掉不需要的特征13个，剩下18个，删后的shape为（26495，18）

• 我们用过8个连续时间点预测第9个时间点，即模型输入为 x = (_, 8, 18), 输出为 y = (_, 1)

> 这里的shape留了个空位给batch_size，用于模型批量化处理数据

• 我们假设输出的参考真实值为标签y‘，即数据集中第三列特征

参考链接

• LSTM 原版： Weather forecast using LSTM networks
• 天气数据集:   Max-Planck-Institut fuer Biogeochemie - Wetterdaten