简介
Prithvi是NASA 和 IBM 创建的一个用于遥感分类的开源基础模型,使用Landsat 和 Sentinel-2 ( HLS ) 数据集进行训练,特别适合处理时间序列的遥感影像。
该模型已经在2023年的8开源和部署到了Hugging Face Hub上,用户可以免费下载和在线体验该模型。
用途与体验效果
Prithvi模型可用于:
(1)基础的遥感分类模型Prithvi-100M,拥有超过一亿个模型参数,可作为训练自己的遥感模型的预训练模型。
NASA在Hugging Face Hub上展示了该模型进行影像重建的能力(屏蔽掉影像中的一部分再利用模型进行重建),需要输入红、绿、近红、红边、SWIR、SWIR2等六个波段的三个影像。我试了一下,效果如下:
(2)使用多时相的遥感影像进行农作物自动分类(共13类)
同样的,该模型提供了在线实验的数据测试结果,我们输入作物三个时期的影像(哨兵的6个波段),可以获取精细的农作物分类结果信息。我试了一样,效果如下:
(3)火灾痕迹监测
该模型可用于检测火灾痕迹,该模型是由预训练的Prithvi-100m参数模型经过HLS 烧伤疤痕数据集的微调获得的。
该模型需要输入一张遥感影像,需要包含六个波段,我试了一下,效果如下:
(4)洪水监测
洪水检测模型是在prithvi的基础上进行微调,使用了Sen1Floods11 数据集进行训练。进行洪水预测时用户需要提供一张Sentinel 2图像,且需要具有所有12个波段,实验效果如下:
总结
Prithvi是一个在sentinel和landsat数据集上进行训练的深度学习模型,现在可以在huggingface上在线实验分类效果。
同时,该模型天生就支持多时序、多波段的遥感影像,可以把这个模型作为遥感自动分类的深度学习基础模型,做这方面的研究的读者可以试试。
参考
nasa官方介绍 https://www.earthdata.nasa.gov/news/impact-ibm-hls-foundation-model
Prithvi的主页.https://huggingface.co/ibm-nasa-geospatial
Prithvi基础的开源模型https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M
Prithvi多时相农作物在线自动分类的网址 https://huggingface.co/spaces/ibm-nasa-geospatial/Prithvi-100M-multi-temporal-crop-classification-demo
Prithvi洪水在线自动识别的网址:https://huggingface.co/spaces/ibm-nasa-geospatial/Prithvi-100M-sen1floods11-demo
Prithvi火灾伤痕识别模型:https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M-burn-scar