海量遥感数据处理与GEE云计算技术实践应用

目前，GEE以其强大的功能受到了国外越来越多的科技工作者的重视和应用，然而在国内应用还十分有限。应广大科学工作者的要求，本教程将结合具体范例，重点介绍利用GEE进行数据处理的常用方法，并通过土地遥感信息提取进行进阶训练，掌握实际操作能力。

一、初识GEE及 开发平台
1.GEE平台及典型应用案例介绍
2.GEE JavaScript开发环境及常用数据资源介绍
3.JavaScript基础，包括变量，运算符，数组，判断及循环语句等
4.GEE遥感云重要概念与典型数据分析流程
5.初识GEE JavaScript对象和平台上手
影像与影像集
几何体、要素与要素集
日期、字符、数字
数组、列表、字典
影像/影像集、要素/要素集数据查询、时空过滤、可视化、属性查看等
主要对象最常用API介绍
程序调试与误区提醒

二、影像大数据处理基础
1.关键知识点讲解
影像数学运算、关系/条件/布尔运算、形态滤波、纹理特征提取等
影像掩码，裁剪和镶嵌
集合对象的循环迭代（map/iterate）
集合对象联合（Join）
再谈数组及数组影像
影像面向对象分析
2.主要功能串讲与演练
Landsat/Sentinel-2影像批量去云
Landsat/Sentinel-2传感器归一化、植被指数计算与Tasseled cap变换等
时间序列光学影像的平滑与空间插值

三、数据整合Reduce
1.关键知识点讲解
影像与影像集整合，如指定时窗的年度影像合成
影像区域统计与领域统计，分类后处理
要素集属性列统计
栅格与矢量的相互转换
分组整合与区域统计
影像集、影像和要素集的线性回归分析
2.主要功能串讲与演练
研究区可用Landsat影像的数量和无云观测数量的统计分析
中国区域年度NDVI植被数合成及年度最绿的DOY时间查找
国家尺度30年尺度的降雨量时空变化趋势分析

四、云端数据可视化
1.关键知识点讲解
要素与要素集属性制图（条形图、直方图、堆积柱形图、散点图等）
影像制图（区域统计、分类图、直方图、散点图、线型图，饼图等）
影像集制图（样点时间序列图、区域统计时间序列图等）
数组与链表制图（散点图、样线图等）
图形风格和属性设置
2.主要功能串讲与演练
基于MODIS时间序列影像的不同地表植被物候分析与制图
基于Hansen产品的年度森林时空变化分析与专题图绘制

五、数据导入导出及资产管理
1.关键知识点讲解
不同矢量数据上传个人资产
影像数据上传个人资产、属性设置等
影像批量导出（Asset和Driver）
矢量数据导出（Asset和Driver）
统计分析结果导出
2.主要功能串讲与演练
中国通量站点数据上传与显示，站点基本气象和地形等数据导出
年度影像合成批量导出或下载到个人Asset或Driver平台

六、机器学习算法
1.关键知识点讲解
样本抽样（随机抽样、分层随机抽样）
监督分类算法（随机森林、CART、贝叶斯、SVM、决策树等）
非监督分类算法（wekaKMeans、wekaLVQ等）
TensorFlor模型
分类精度评估
2.主要功能串讲与演练
联合光学与雷达时间序列影像的森林动态监测
水体自动提取与洪涝监测研究

七、专题练习与回顾
1.以一个完整的土地利用分类案例来回顾GEE的主要功能。包含不同地面样本准备、多源遥感影像预处理、算法开发、分类后处理、精度评估和空间统计分析与制图等环节
2.征集案例讲解与答疑
3.GEE代码优化、常见错误与调试总结

GPT模型支持下的Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用

Earth Engine凭借其强大的功能正受到越来越多国内外科技工作者的关注，应用范围也在不断扩大。学习致力于帮助科研工作者掌握Earth Engine的实际应用能力，以Python编程语言为基础，结合实例讲解平台搭建、影像数据分析、经典应用案例、本地与云端数据管理，以及云端数据论文出版级可视化等方面的进阶技能。为了提高教学质量，本教程将融合最先进的ChatGPT、文心一言等AI自然语言模型辅助教学，协助学员解答疑惑、提供针对性建议和指导，不仅让学员更深入地掌握课程内容，还为今后自助学习提供高效的个性化的学习体验。目前，Earth Engine以其强大的功能受到国内外越来越多的科技工作者的重视，应用也越来越普遍。

旨在帮助科研工作者掌握Earth Engine的实际应用能力，将以Python编程语言为基础，结合案例从平台搭建、影像数据分析、本地和云端数据管理，以及云端数据论文出版级可视化等方面进行讲解和进阶训练。此外，还将强调批处理和机器学习，适合已掌握一定Earth Engine和Python基础、或对编程有浓厚兴趣的学员。

第一章 理论基础
1、Earth Engine平台及应用、主要数据资源介绍
2、Earth Engine遥感云重要概念、数据类型与对象等
3、JavaScript与Python遥感云编程比较与选择
4、Python基础（语法、数据类型与程序控制结构、函数及类与对象等）
5、常用Python软件包（（pandas、numpy、os等）介绍及基本功能演示（Excel/csv数据文件读取与数据处理、目录操作等）
6、JavaScript和Python遥感云API差异，学习方法及资源推荐
7、ChatGPT、文心一言等AI自然语言模型介绍及其遥感领域中的应用

第二章 开发环境搭建
1、本地端与云端Python遥感云开发环境介绍
2、本地端开发环境搭建
1）Anaconda安装，pip/conda软件包安装方法和虚拟环境创建等；
2）earthengine-api、geemap等必备软件包安装；
3）遥感云本地端授权管理；
4）Jupyter Notebook/Visual Studio Code安装及运行调试。 
3、云端Colab开发环境搭建
4、geemap介绍及常用功能演示
5、ChatGPT、文心一言帐号申请与主要功能演示，如遥感知识解答、数据分析处理代码生成、方案框架咨询等。

第三章 遥感大数据处理基础与ChatGPT等AI模型交互
1、遥感云平台影像数据分析处理流程介绍：介绍遥感云平台影像数据分析处理流程的基本框架，包括数据获取、数据预处理、算法开发、可视化等。

2、要素和影像等对象显示和属性字段探索：介绍如何在遥感云平台上显示和探索要素和影像等对象的属性字段，包括如何选择要素和影像对象、查看属性信息、筛选数据等。

3、影像/要素集的时间、空间和属性过滤方法：介绍如何对影像/要素集进行时间、空间和属性过滤，包括如何选择时间段、地理区域和属性条件，以实现更精确的数据分析。

4、波段运算、条件运算、植被指数计算、裁剪和镶嵌等：介绍如何在遥感云平台上进行波段运算、条件运算、植被指数计算、裁剪和镶嵌等操作，以实现更深入的数据分析。

5、Landsat/Sentinel-2等常用光学影像去云：介绍如何在遥感云平台上使用不同方法去除Landsat/Sentinel-2等常用光学影像中的云，以提高影像数据质量。

6、影像与要素集的迭代循环：介绍如何使用遥感云平台的迭代循环功能对影像和要素集进行批量处理，以提高数据分析效率。

7、影像数据整合（Reducer）：介绍如何使用遥感云平台的Reducer功能将多个影像数据整合成一个数据集，以方便后续数据分析。

8、邻域分析与空间统计：介绍如何在遥感云平台上进行邻域分析和空间统计，以获取更深入的空间信息。

9、常见错误与代码优化：介绍遥感云平台数据分析过程中常见的错误和如何进行代码优化，以提高数据分析效率和精度。

10、Python遥感云数据分析专属包构建：介绍如何使用Python在遥感云平台上构建数据分析专属包，以方便多次使用和分享分析代码。

第四章 典型案例操作实践
11、机器学习分类算法案例：本案例联合Landsat等长时间序列影像和机器学习算法展示国家尺度的基本遥感分类过程。具体内容包括研究区影像统计、空间分层随机抽样、样本随机切分、时间序列影像预处理和合成、机器学习算法应用、分类后处理和精度评估等方面。

12、决策树森林分类算法案例：本案例联合L波段雷达和Landsat光学时间序列影像，使用决策树分类算法提取指定地区2007-2020年度森林分布图，并与JAXA年度森林产品进行空间比较。案例涉及多源数据联合使用、决策树分类算法构建、阈值动态优化、分类结果空间分析等方面。

13、洪涝灾害监测案例：本案例基于Sentinel-1 C波段雷达等影像，对省级尺度的特大暴雨灾害进行监测。案例内容包括Sentinel-1 C影像处理、多种水体识别算法构建、影像差异分析以及结果可视化等方面。。

14、干旱遥感监测案例：本案例使用40年历史的卫星遥感降雨数据产品如CHIRPS来监测省级尺度的特大干旱情况。案例内容包括气象数据基本处理、年和月尺度数据整合、长期平均值LPA/偏差计算，以及数据结果可视化等方面。

15、物候特征分析案例：本案例基于Landsat和MODIS等时间序列影像，通过植被指数变化分析典型地表植被多年的物候差异（样点尺度）和大尺度（如中国）的物候空间变化特征。案例内容包括时间序列影像合成、影像平滑（Smoothing）与间隙填充（Gap-filling）、结果可视化等方面。

16、森林植被健康状态监测案例：本案例利用20年的MODIS植被指数，对选定区域的森林进行长期监测，并分析森林植被的绿化或褐变情况。涉及影像的连接和合成、趋势分析、空间统计以及可视化等方法。

17、生态环境质量动态监测案例：该案例使用RSEI遥感生态指数和Landsat系列影像，对选定城市的生态状况进行快速监测。主要涉及的技术包括植被指数的计算、地表温度的提取、数据的归一化、主成分PCA分析、RSEI生态指数的构建以及结果的可视化等。

第五章 输入输出及数据资产高效管理
1.本地数据与云端交互：介绍如何将本地端csv、kml、矢量和栅格数据与云端数据相互转换，并讲解数据导出的方法。

2.服务器端数据批量下载：包括直接本地下载、影像集批量下载，以及如何快速下载大尺度和长时间序列数据产品，例如全球森林产品和20年的MODIS数据产品等。。

3.本地端数据上传与属性设置：包括earthengine命令使用，介绍如何上传少量本地端矢量与栅格数据并设置属性（小文件），以及如何批量上传数据并自动设置属性，还将介绍如何使用快速上传技巧上传超大影像文件，例如国产高分影像。

4.个人数据资产管理：介绍如何使用Python和earthengine命令行来管理个人数据资产，包括创建、删除、移动、重命名等操作，同时还会讲解如何批量取消上传/下载任务。

第六章 云端数据论文出版级可视化
1.Python可视化及主要软件包简介：介绍matplotlib和seaborn可视化程序包，讲解基本图形概念、图形构成以及快速绘制常用图形等内容。

2.研究区地形及样地分布图绘制：结合本地或云端矢量文件、云端地形数据等，绘制研究区示意图。涉及绘图流程、中文显示、配色美化等内容，还会介绍cpt-city精美调色板palette在线下载与本地端应用等。

3.研究区域影像覆盖统计和绘图：对指定区域的Landsat和Sentinel等系列影像的覆盖数量、无云影像覆盖情况进行统计，绘制区域影像统计图或像元级无云影像覆盖专题图。

4.样本光谱特征与物候特征等分析绘图：快速绘制不同类型样地的光谱和物候特征，动态下载并整合样点过去30年缩略图（thumbnails）和植被指数时间序列等。

5.分类结果专题图绘制及时空动态延时摄影Timelapse制作：单幅或多幅分类专题图绘制及配色美化，制作土地利用变化清晰的Timelapse，还会介绍动画文字添加等内容。

6.分类结果面积统计与绘图：基于云端的分类结果和矢量边界文件，统计不同区域不同地类面积，提取统计结果，以不同图形展示统计面积；制作土地利用变化统计绘图等。

 GEE遥感云大数据林业应用典型案例实践及GPT模型应用

聚焦目前遥感应用最热门领域之一的林业，重点结合典型应用案例综合展示GEE云平台的使用技巧和强大功能，提升参会人员解决实际问题的能力。以JavaScript版本GEE为主进行讲解，先介绍GEE基本知识，再结合微型案例对关键知识进行串讲，最后结合林业应用典型案例进行综合讲解。为了提高教学质量，

将结合最先进的ChatGPT、文心一言等AI自然语言模型辅助教学，协助学员解答疑惑、提供针对性建议和指导，不仅让学员更深入地掌握学习内容，还为今后自主学习提供高效的个性化的学习体验。

一、平台及基础开发平台
GEE平台及典型应用案例介绍
GEE开发环境及常用数据资源介绍
ChatGPT、文心一言等GPT模型介绍、帐号申请及林业遥感应用
JavaScript基础简介
GEE遥感云重要概念与典型数据分析流程
GEE基本对象介绍、矢量和栅格对象可视化、属性查看，API查询、基本调试等平台上手

二、GEE基础知识与ChatGPT等AI模型交互
影像基本运算与操作：数学运算、关系/条件/布尔运算、形态滤波、纹理特征提取；影像掩码、裁剪和镶嵌等；
要素基本运算与操作：几何缓冲区，交、并、差运算等；
集合对象操作：循环迭代（map/iterate）、合并Merge、联合（Join）；
数据整合Reduce：包括影像与影像集整合，影像合成、影像区域统计与域统计，分组整合与区邻域统计，影像集线性回归分析等；
机器学习算法：包括监督（随机森林、CART、SVM、决策树等）与非监督（wekaKMeans、wekaLVQ等）分类算法，分类精度评估等；
数据资产管理：包括本地端矢量和栅格数据上传、云端矢量和栅格数据下载、统计结果数据导出等；
绘图可视化：包括条形图、直方图、散点图、时间序列等图形绘制。
GPT模型交互：结合上述基本知识点和ChatGPT、文心一言等AI工具进行交互演示，包括辅助答疑、代码生成与修正等技巧。

三、重要知识点微型案例串讲与GPT模型交互演示
1)Landsat、Sentinel-2影像批量自动去云和阴影
2)联合Landsat和Sentinel-2批量计算植被指数和年度合成
3)研究区可用影像数量和无云观测数量统计分析
4)中国区域年度NDVI植被数合成及年度最绿DOY时间查找
5)时间序列光学影像数据的移动窗口平滑
6)分层随机抽样及样本导出、样本本地评估与数据上传云端
7)中国近40年降雨量变化趋势分析
8)某区域年度森林损失统计分析（基于Hansen森林产品）

四、典型案例综合演练
案例一：联合多源遥感数据的森林识别
详细介绍联合Landsat时间序列光学影像和PALSAR-2雷达数据，以及决策树算法实现森林等典型地类遥感分类的完整流程。专题涉及影像数据时空过滤、光学影像批量云掩膜与植被指数计算；分层随机抽样及样本导出、本地端质量控制与云端上传、样本随机切分、可分离性分析、分类算法构建及应用、分类后处理和精度评估，专题图绘制等。

案例二：长时间尺度的森林
状态监测 利用长时间序列的MODIS或Landsat影像数据，对森林状态进行长期监测，分析森林植被绿化或褐变情况。专题涉及时间序列影像预处理、影像集连接、影像合成、变化趋势非参数检测、显著性检验和变化趋势量化与分级、空间统计和结果可视化和专题图绘制等。

案例三：森林砍伐与退化监测
联合Landsat系列影像，光谱分离模型和NDFI归一化差值分数指数实现森林的砍伐和退化监测。专题涉及影像预处理、混合像元分解、NDFI指数计算、函数封装、变化检测和强度分级，结果可视化、专题图绘制等。

案例四：森林火灾监测
详细介绍利用Landsat和Sentinel-2时间序列光学遥感影像，监测森林火灾损失情况，实现火灾强度分级。专题涉及影像过滤、Landsat和Sentinel-2光学影像除云等预处理、植被指数计算、影像合成、火灾区域识别和灾害强度分级，结果统计分析与可视化等。

案例五：长时间尺度的森林扰动监测
联合30年的Landsat等光学影像和经典LandTrendr算法实现森林扰动的监测。专题涉及长时间序列遥感影像预处理、植被指数批量计算、年度影像合成、数组影像概念和使用方法、LandTrendr算法原理及参数设置、森林扰动结果解译与空间统计分析、可视化及专题图绘制等。

案例六：森林关键生理参数
（树高、生物量/碳储量）反演 联合GEDI激光雷达、Landsat/Sentinel-2多光谱光学影像、Sentinel-1 /PALSAR-2雷达影像等和机器学习算法反演森林的关键物理参数，如树高、生物量/碳储量。专题涉及GEDI激光雷达数据介绍、常见光学和雷达数据处理、机器学习算法应用、反演精度评估和变量重要性分析、结果可视化等内容。

遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型应用

本次学习将聚焦目前遥感应用最热门领域之一的灾害、水体及湿地领域，重点结合典型应用案例综合展示GEE云平台的使用技巧和强大功能，提升参会人员解决实际问题的能力。本课程将以JavaScript版本GEE为主进行讲解，先介绍GEE基本知识，再结合微型案例对关键知识进行串讲，最后典型案例进行综合讲解。为了提高教学质量，本教程将结合最先进的ChatGPT、文心一言等AI自然语言模型辅助教学，协助学员解答疑惑、提供针对性建议和指导，不仅让学员更深入地掌握课程内容，还为今后自助学习提供高效的个性化的学习体验。

第一部分·基础实践

一、平台及基础开发平台

GEE平台及典型应用案例介绍；
GEE开发环境及常用数据资源介绍；
ChatGPT、文心一言等GPT模型介绍
JavaScript基础简介；
GEE遥感云重要概念与典型数据分析流程；
GEE基本对象介绍、矢量和栅格对象可视化、属性查看，API查询、基本调试等平台上手。

二、GEE基础知识与ChatGPT等AI模型交互

影像基本运算与操作：数学运算、关系/条件/布尔运算、形态滤波、纹理特征提取；影像掩码、裁剪和镶嵌等；
要素基本运算与操作：几何缓冲区，交、并、差运算等；
集合对象操作：循环迭代（map/iterate）、合并Merge、联合（Join）；
数据整合Reduce：包括影像与影像集整合，影像合成、影像区域统计与域统计，分组整合与区邻域统计，影像集线性回归分析等；
机器学习算法：包括监督（随机森林、CART、SVM、决策树等）与非监督（wekaKMeans、wekaLVQ等）分类算法，分类精度评估等；
数据资产管理：包括本地端矢量和栅格数据上传、云端矢量和栅格数据下载、统计结果数据导出等；
绘图可视化：包括条形图、直方图、散点图、时间序列等图形绘制。
GPT模型交互：结合上述基本知识点和ChatGPT等AI工具进行交互演示，包括辅助答疑、代码生成与修正等技巧。

第二部分·进阶小试

重要知识点微型案例串讲与GPT模型交互演示

1)Landsat、Sentinel-2影像批量自动去云和阴影
2)联合Landsat和Sentinel-2批量计算植被指数和年度合成
3)研究区可用影像数量和无云观测数量统计分析
4)中国区域年度NDVI植被数合成及年度最绿DOY时间查找
5)时间序列光学影像数据的移动窗口平滑
6)分层随机抽样及样本导出、样本本地评估与数据上传云端
7)中国近40年降雨量变化趋势分析

第三部分·典型案例综合演练

案例一：洪涝灾害监测
基于Sentinel-1 雷达等影像，以典型洪涝灾害为例监测受灾区域。案例内容包括多源影像数据处理和不同水体识别算法构建，如OSTU全局自动分割与局部自适应阈值法，以及采用不同方式确定受灾区域，受灾面积统计与可视化输出等。

案例二：洪水敏感性和风险模拟
结合ESA10m分辨率土地覆盖产品、地形（海拔与坡度）、MERIT全球水文数据、JRC地表水数据产品等空间数据集，借助云平台计算不同地类与开阔水域的距离，最近排水系统上方的高度 (HAND) 和降雨频率（降雨强度和持续时间的代表）作为模拟洪灾敏感性的输入参数，再应用加权线性组合WLC方法绘制洪灾敏感性分布图。内容涉及不同数据产品再分类分级、欧几里得距离计算、影像集map循环和分析建模等。

案例三：水体质量监测
联合近十年的Landsat 8/9、JRC地表水产品，使用如NDSSI归一化差异悬浮泥沙指数、NDTI归一化差分浊度指数等来监测水集水区水质变化情况，统计集水区域逐月水质变化情况。内容涉及时间序列影像预处理、植被指数计算、逐月逐年影像合成、影像集Reducer操作、空值过滤与作图等。

案例四：河道轮廓监测
展示Earth Engine在河流水文学和地貌学中的应用。具体演示如何使用云平台区分河流和其它水体，进行基本的形态分析，提取河流的中心线和宽度，检测河流形态随时间的变化。内容涉及开源程序包调用、RivWidthCloud关键代码解读、时间序列影像处理、水体遥感识别和数据导出。

案例五：地下水变化监测
详细介绍了利用GRACE重力卫星的观测数据来评估大型河流流域地下水储量的变化，包括应用遥感估计的总蓄水异常、陆地表面模型输出GLDAS和现场观测结果来解决地下水蓄不变化。内容涉及使用GRACE绘制总蓄水量变化、蓄水趋势和解决河流流域地下水储量的变化等，练习知识点包括影像集过滤、集合Join、map循环、趋势分析、可视化等。

案例六：红树林遥感制图
联合Sentinel-1/2多源遥感影像和机器学习算法绘制红树林分布图。专题涉及光学和雷达数据处理、机器学习算法应用、反演精度评估、变量重要性分析、结果可视化、栅格与矢量转换等内容，将演示如何利用红树林的生境特征信息（如地形、与大海相连等）对分类结果进行精细处理，实现高精度分布图的绘制。

关 注【科研充电吧】公 众 号，获取海量教程和资源