时空大数据使我们面临前所未有的机遇和挑战,尤其在地学、遥感或空间技术等专业领域,无疑是一个全新的时代。
伴随着时空大数据的到来,海量数据的处理是一个所有科研工作者都无法忽视的重要问题。传统的数据(主要指空间数据)处理工具已无法满足大数据处理的要求,而且笨拙的传统工具数据处理方式无疑是科研道路上的绊脚石,使我们面对大数据处理需求时手忙脚乱。因此,数据批处理的方式很大程度上解决了这一问题,解放大量劳动力。
对于空间数据来说,常用的传统数据处理工具或软件包括ArcGIS、ENVI等,而且现已拥有对应的批处理平台或工具,如Arcpy、ENVI_IDL。此外许多第三方工具包如GDAL,也很好的支持多种开发语言和环境,以便于编程使用。在此,以Arcpy为例,在Python语言开发环境下,通过实际的编程应用,简单介绍空间数据批处理的实现方法。
1 Python基础
" Life is short, you need Python——Bruce Eckel",人生苦短,我用Python。
Python是一种解释型、面向对象、动态数据类型的高级程序设计语言,由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。
Python的设计哲学:
- 优雅
- 简单
- 明确
对于大多数程序语言,第一个入门编程代码便是"Hello World!",以下代码为使用Python输出"Hello World!":
实例(Python 2.0+)
print "Hello World!"
实例(Python 3.0+)
print("Hello World!")
OK,YOU GOT IT!
2 Arcpy介绍
什么是Arcpy?
在这里简单介绍一下Arcpy,详细说明参见ArcGIS相关帮助文档。ArcGIS采用ArcPy为用户提供了使用Python语言操作所有地理处理工具(包括ArcGIS扩展模块)的方法,并提供了多种有用的函数和类。目的是为以实用高效的方式通过Python执行数据处理分析、数据转换、数据管理和地图自动化创建基础。因此,使用Python和ArcPy,可以实现地理或遥感大数据的批量处理。
Arcpy的安装和使用
Arcpy无法单独安装使用,其底层实现是完全依托在Arcgiscripting上的,并且由于历史的原因,所有的Arcpy模块都会依赖Geoprocessing模块中的部分函数来实现对Arcgisscripting的访问。
ArcGIS Desktop安装后,在安装目录下会出现Arcpy文件夹,其中包含有Python函数、类和模块。用户可以使用Python语言调用ArcObject的相关类。
Arcpy提供的功能:
- 访问所有地理处理工具
- 数据转换和数据处理
- 数据分析
- 自动化制图等
使用Python和Arcpy,可以开发出大量用于空间数据批处理的实用程序。
3 数据批处理实现案例
当我们下载了大量遥感影像数据(如风云卫星数据产品,为国产数据打call),一般不可能直接就可以使用,需要进行一定的预数据处理,才能达到我们的使用标准。在这个过程中,一般情况下可能涉及到的数据处理有“定义投影”、“投影变换”、“地图配置”、“数据裁剪”、“重采样”等等。下面具体介绍程序编写实现方法。
以栅格数据裁剪为例。
首先,引入Arcpy包,
import arcpy
调用Arcpy的栅格裁剪函数,
# function: RasterClip
def RasterClip(datadir, in_raster, extent_feature, out_raster):
'''
:param datadir: data direction
:param in_raster: raster data to be clip
:param extent_feature: cutting boundary
:param file_name: output
'''
try:
arcpy.Clip_management(in_raster, "#", out_raster, extent_feature, "#", "ClippingGeometry")
print(arcpy.GetMessages(0))
print "Clip completed!\nSave as '%s'\n" % (clipForld + os.sep + tifNameList[j] + "_clip.tif")
except:
print arcpy.GetMessages()
print "Process failed."
以上函数可以进行一幅影像的裁剪,接下来便可以实现批处理功能,获取待裁剪栅格数据文件路径及文件名函数如下,
# function: getFileList
def getFileList(datadir, ftype):
'''
:param dataDir: forld path
:param ftype: file suffix(.*)
:return: full path, file name(without suffix)
'''
fileFullPathList = []
fileNameList = []
filenameList = os.listdir(datadir)
for fn in filenameList:
file_name, file_ext = os.path.splitext(fn)
if file_ext == ftype:
fileFullPathList.append(datadir + os.sep + fn)
fileNameList.append(file_name)
return fileFullPathList, fileNameList
最后,遍历所有要裁剪的数据,实现数据批量裁剪,
# Define data direction and vector data of boundary
datadir = r'D:\data...'
extentFeature = r'D:\...\*.shp'
# Get data
fType = '.tif'
print "Get %s file......" % fType
fileList = getFileList(datadir, fType)
# Create forld
clipForld = datadir + os.sep + "clip"
if not os.path.isdir(clipForld):
os.makedirs(clipForld)
for i in range(len(fileList[0])):
out_raster = datadir + os.sep + file_name +"_clip.tif"
RasterClip(clipForld, fileList[0][i], extentFeature, out_raster)
完成数据批处理!
原文链接:https://bbs.csdn.net/forums/gisrs?spm=1001.2014.3001.6682