Python批量读取大量nc格式文件并导出全部时间信息

  本文介绍基于Python语言,逐一读取大量.nc格式的多时相栅格文件,导出其中所具有的全部时间信息的方法。

  .ncNetCDF(Network Common Data Form)文件的扩展名,表示一种常用的科学数据存储格式。NetCDF是一种自描述的、可移植的二进制文件格式,用于存储科学和工程领域的大型数据集;由于其自身的特性,.nc数据被广泛应用于气象学、海洋学、地球科学、气候研究、大气科学、地理信息系统等领域。

  首先,明确一下本文的需求。现在有一个文件夹,其中具有大量的.nc格式的栅格文件,如下图所示。

  其中,每一个.nc格式的文件都具有多个时相(或者说是多个维度),而不仅仅只是一个时相。我们希望,读取这个文件夹中的全部.nc格式文件,并获取其所表示的每一个时相。

  明确了需求后,我们就可以开始具体的操作。首先,本文所需用到的代码如下。

# -*- coding: utf-8 -*-
"""
Created on Sun Dec 31 20:28:03 2023

@author: fkxxgis
"""

import os
import netCDF4
from netCDF4 import Dataset

def list_nc_dates(folder_path):
    nc_dates = []

    for file_name in os.listdir(folder_path):
        if file_name.endswith(".nc"):
            file_path = os.path.join(folder_path, file_name)
            try:
                dataset = Dataset(file_path)
                time_var = dataset.variables["time"]
                time_values = time_var[:]
                time_units = time_var.units
                time_calendar = time_var.calendar

                dates = []
                for value in time_values:
                    date = netCDF4.num2date(value, units=time_units, calendar=time_calendar)
                    dates.append(date.strftime("%Y-%m-%d %H:%M:%S"))

                nc_dates.append((file_name, dates))
            except Exception as e:
                print(f"Error reading file {file_name}: {str(e)}")

    return nc_dates

folder_path = "F:/Data_Reflectance_Rec/soil_1"
nc_dates = list_nc_dates(folder_path)

for nc_file, dates in nc_dates:
    for date in dates:
        print(date)

  这段代码整体思路也很明确。

  首先,我们导入所需的模块。在这里,需要导入Pythonos模块,用于处理文件和文件夹路径操作;同时导入netCDF4库,并接着从netCDF4库中导入Dataset类,用于打开和读取.nc文件。在这里,如果需要配置netCDF4库,大家可以参考文章Anaconda下Python中h5py与netCDF4模块下载与安装方法(https://blog.csdn.net/zhebushibiaoshifu/article/details/120553597)。

  接下来,我们定义了一个名为list_nc_dates的函数,接受一个文件夹路径作为参数。在函数中,首先创建一个空列表nc_dates,用于存储每个.nc文件及其对应的日期列表;随后,使用os.listdir()函数遍历文件夹中的所有文件,通过检查文件名是否以.nc结尾来筛选出.nc文件。紧接着,对于筛选出来的.nc文件,使用os.path.join()函数构建其完整路径。

  其次,使用Dataset类打开.nc文件,并将打开的文件对象赋值给dataset变量;随后,获取.nc文件的时间,在本文的.nc数据中,也就是名为time的变量,并将时间变量的值读取到time_values变量中。接下来,分别获取时间变量的单位与时间类型。

  随后,我们创建一个空列表dates,用于存储日期字符串。遍历时间变量的每个值,使用netCDF4.num2date()函数将时间值转换为日期对象。紧接着,将日期对象转换为指定格式的字符串,并将其添加到dates列表中。此外,这里还将.nc文件名和对应的日期列表作为元组添加到nc_dates列表中,方便我们后期对日期的核对。函数的最后,返回包含每个.nc文件及其对应日期的列表。

  在函数外部,我们设置文件夹路径,随后即可调用list_nc_dates函数,将文件夹路径传递给它,并将返回的结果赋值给nc_dates变量。最后,通过循环,打印每个日期即可。

  执行上述代码,即可出现如下图所示的结果(结果很长,就截取一部分)。由于在本文中,每一个.nc格式文件的每一个维度(即每一个时相)都是精确到天的,所以下图天数后的时、分、秒都是00。当然,如果大家的.nc格式文件维度很多,时相打印出来的话也不好完全显示,所以可以考虑将时间信息导出为表格文件等;例如,可以将每一个date都放在DataFrame中,随后导出为.csv文件。

  至此,大功告成。

欢迎关注:疯狂学习GIS

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/290495.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Alibaba Cloud Linux镜像操作系统超详细测评!兼容CentOS

Alibaba Cloud Linux是基于龙蜥社区OpenAnolis龙蜥操作系统Anolis OS的阿里云发行版,针对阿里云服务器ECS做了大量深度优化,Alibaba Cloud Linux由阿里云官方免费提供长期支持和维护LTS,Alibaba Cloud Linux完全兼容CentOS/RHEL生态和操作方式…

【基础篇】十二、引用计数法 可达性分析算法

文章目录 1、Garbage Collection2、方法区的回收3、堆对象回收4、引用计数法5、可达性分析算法6、查看GC Root对象 1、Garbage Collection C/C,无自动回收机制,对象不用时需要手动释放,否则积累导致内存泄漏: Java、C#、Python、…

跟着仙凡兄学习 ros2 ubuntu与windows的安装(本人小白开始,一步一步跟着坑走,最后都成功的)

目 录 1 ROS安装的步骤 2 1.1 ROS UBUNTU安装 2 1.1.1 环境配置:UBUNTU20.04 2 1.1.2 设置编码 2 1.1.3 添加ROS2 APT仓库 3 1.1.4 接下来可以安装ROS2了 3 1.1.5 创建 COLCON 工作区并下载教程 3 1.1.6 设置环境 4 1.1.7 双环境设置 4 1.1.8 验证之一 5 1.2 ROS2 W…

《剑指offer》数学第二题:求1+2+3+...+n

题目描述: 求123...n,要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句(A?B:C)。思路: 我们可以用递归和短路运算符来进行运算,具体代码如下。 代码实现: pac…

基于知识图谱的图神经网络推理

基于知识图谱的图神经网络推理 - 知乎导读 本次分享题目为基于知识图谱的图神经网络推理,首先会介绍知识图谱相关的背景。第二部分GNN for KG会以CompGCN为基础,介绍将图神经网络迁移到知识图谱上面的工作。第三部分主要介绍针对知识图谱所设计的GNN…ht…

开启Android学习之旅-1

最近在学习《第一行代码 Android》,两天看书把所有代码都敲了一遍。由于之前没有接触过 Kotlin,导致了囫囵吞枣,跟着书会敲,离开就忘了。Android 大佬开发的各种框架、控件好像大部分都用了 Kotlin。看他们的源码,理解…

齐次和非齐次线性方程组和非线性方程组的求解

1.非齐次线性方程组的求解 AXb为非齐次线性方程组的向量表示 求解方法1就是上面所述,其中求解方法2解决求解方法1中ATA不可逆或括号中计算过程过于麻烦的问题。 2.齐次线性方程组的求解 AX0为齐次线性方程组的向量表示 当p>q的时候 A进行SVD分解后的V矩阵正好…

Linux的LVM与磁盘配额

一.LVM 1.什么是LVM Logical Volume Manager 逻辑卷管理 能够在保持现有数据不变的情况下,动态调整磁盘容量,从而提高磁盘管理的灵活性 /boot 分区用于存放引导文件,不能基于LVM创建 解释:就是将多个不同的物理卷组合在一起形…

iOS手机查看蓝牙底层日志

文章目录 一、需要的环境二、在iOS设备上安装Profiles文件三、安装Xcode四、安装packetLogger五、启动蓝牙数据包分析 参考文档:A New Way to Debug iOS Bluetooth Applications 一、需要的环境 iOS 13 device and cableMac computer/laptopApple Developer Progr…

大数据情况下如何保证企业数据交换安全

数据交换是指在网络或其他方式下,不同主体按照规定的规则和标准实现数据的共享、传输和处理的过程。大数据时代的到来使得数据交换的重要性更为凸显,大数据带来了海量、多样、高速、低价值密度等特点,也带来了更多的价值挖掘和应用场景。 保障…

大模型日报-20240104

文生视频下一站,Meta已经开始视频生视频了 https://mp.weixin.qq.com/s/OEzex40EtaeG0sKDvxdY7Q 文本指导的视频到视频(V2V)合成在各个领域具有广泛的应用,例如短视频创作以及更广泛的电影行业。扩散模型已经改变了图像到图像&am…

听GPT 讲Rust源代码--compiler(6)

File: rust/compiler/rustc_index/src/idx.rs 在Rust的源代码中,idx.rs文件位于rust/compiler/rustc_index/src/目录下,它定义了用于索引访问的Idx trait。以下是该文件的详细介绍: Idx是一个基本的整数索引类型,它用于支持Rust编…

什么是员工监控?你需要知道的一切

一般来说,员工监控是一种增强员工效率的授权方法,不仅可以更好地了解何时,还可以更好地了解如何进行。无论您的员工是远程、混合还是办公室优先,员工监控始终有助于提高生产力。 长期以来,传统的员工监控一直与监督和…

MATLAB中./和/,.*和*,.^和^的区别

MATLAB中./和/,.*和*,.^ 和^ 的区别 MATLAB中./和/,.*和*,.^ 和^ 的区别./ 和 / 的区别.//实验实验结果 .* 和 * 的区别.**实验实验结果 .^ 和^ 的区别.^n^n实验运行结果 MATLAB中./和/,.和,.^ 和^ 的区别 …

FFmpeg安装保姆级教程

在上一篇文章《IOS:Safari无法播放MP4(H.264编码)》里我们使用了FFmpeg来设置MP4的Profile和Level值,从而转换出适合IOS Safari上播放的MP4文件。本文接着介绍一下FFmpeg的安装: 一、安装过程 (1&#xf…

FFmpeg之——获取上传视频的尺寸(长、宽)

获取上传视频的尺寸: 获取视频尺寸通常需要借助第三方库FFmpeg。 首先,确保你的系统中已安装了FFmpeg,并且FFmpeg的可执行文件路径已经添加到你的系统环境变量中。 1.官网下载ffmpeg 进入 链接: ffmpeg官网 网址,点击下载wind…

threejs官方demo解析(一)

官网效果图&#xff1a; demo代码及我添加的注释&#xff1a; <!DOCTYPE html> <html lang"en"><head><title>three.js webgl - animation - keyframes</title><meta charset"utf-8"><meta name"viewport&qu…

Apache HTTPD 换行解析漏洞(CVE-2017-15715)详解

Apache HTTPD 换行解析漏洞&#xff08;CVE-2017-15715&#xff09; 1.cd到CVE-2017-15715 cd vulhub/httpd/CVE-2017-15715 2.运行docker-compose build docker-compose build 3.运行docker-compose up -d 4.查看docker-compose ps 5.访问 出现这个表示安装成功 6.漏洞复现…

【代码随想录】刷题笔记Day45

前言 早上又赖了会床......早睡早起是奢望了现在&#xff0c;新一年不能这样&#xff01;支棱起来&#xff01; 377. 组合总和 Ⅳ - 力扣&#xff08;LeetCode&#xff09; 这一题用的就是完全背包排列数的遍历顺序&#xff1a;先背包再物品&#xff0c;从前往后求的也是有几…

CMake入门教程【核心篇】查找包(find_package)

&#x1f608;「CSDN主页」&#xff1a;传送门 &#x1f608;「Bilibil首页」&#xff1a;传送门 &#x1f608;「本文的内容」&#xff1a;CMake入门教程 &#x1f608;「动动你的小手」&#xff1a;点赞&#x1f44d;收藏⭐️评论&#x1f4dd; 文章目录 1.使用方法1.1基本用…