xiaolixiaoli123的个人博客分享 http://blog.sciencenet.cn/u/xiaolixiaoli123

博文

Python机器学习、深度学习技术如何提升气象、海洋、水文领域实践应用能力???

已有 1316 次阅读 2023-5-11 10:42 |个人分类:气象|系统分类:科研笔记

Python是功能强大、免费、开源,实现面向对象的编程语言,能够在不同操作系统和平台使用,简洁的语法和解释性语言使其成为理想的脚本语言。除了标准库,还有丰富的第三方库Python在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能。上述优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。可以预见未来Python将成为气象、海洋和水文等地学领域的主流编程语言之一。

人工智能和大数据技术在许多行业都取得了颠覆式的成果,气象和海洋领域拥有海量的模式和观测数据,是大数据和人工智能应用的天然场景。Python也是当前进行机器学习和深度学习应用的最热门语言。对于的气象海洋领域的专业人员,Python是进行机器学习和深度学习工作的首选。

论文案例

基于机器学习的中国冬季气温影响因子分析及模型估算

使用1951—2021年160个中国国家级气象观测站冬季平均气温及多项大气环流及海温等指数,用机器学习方法研究影响中国冬季气温异常的大气环流及海温等外强迫因子,并建立估算拟合模型,评价筛选出的影响因子组合对中国冬季气温异常分布的贡献。使用最小绝对收缩和选择算子(LASSO)算法提取与冬季气温异常相关的影响因子。为体现特征因子之间非线性关系,使用泰勒公式对筛选后的特征进行多项式增广。使用最小二乘梯度提升决策树(LS-GBDT)算法对筛选出的特征因子与冬季气温异常之间的非线性关系进行估算拟合。结果表明,机器学习方法能够对影响冬季气温异常的特征因子进行合理筛选与重要性分析,建立的估算模型在一定程度上体现了气候系统特征因子与冬季气温距平的非线性联系。本研究为了解中国冬季气温异常分布的影响因素及其模拟与估算提供了新方法和途径

出处:《气象学报》  中国气象科学研究院人工智能气象应用研究所 中国气象科学研究院灾害天气国家重点实验室

实践案例 以下内容了解详情 可+V xiao5kou4chang6kai4

Python软件的安装及入门

1.1 Python背景及其在气象中的应用

1.2 Anaconda解释和安装以及Jupyter配置

1.3 Python基础语法

气象常用科学计算库

2.1 Numpy库

2.2 Pandas库

2.4 Xarray库

1683768226725.jpg1683768269860.jpg
气象海洋常用可视化库

可视化库介绍Matplotlib、Cartopy等

3.2 基础绘图

(1)折线图绘制

(2)散点图绘制

(3)填色/等值线

(4)流场矢量图

爬虫和气象海洋数据

(1)Request库的介绍

(2)爬取中央气象台天气图

(3)FNL资料爬取

(4) ERA5下载

气象海洋常用插值方法

(1)规则网格数据插值到站点

(2)径向基函数RBF插值

(3)反距离权重IDW插值

(4)克里金Kriging插值

1683768375527.jpg1683768392683.jpg

机器学习基础原理

(1)机器学习概论

(2)集成学习(Bagging和Boosting)

(3)常用模型原理(随机森林、Adaboost、GBDT、Xgboost、lightGBM)

6.2 机器学习库scikit-learn

(1)sklearn的简介

(2)sklearn完成分类任务

(3)sklearn完成回归任务

机器学习常用的两类集成学习算法,Bagging和Boosting,对两类算法及其常用代表模型深入讲解的基础上,结合三个学习个例,并串讲一些机器学习常用技巧,将理论与实践结合。

机器学习与深度学习在气象中的应用

AI在气象模式订正、短临预报、气候预测等场景的应用

7.2 GFS数值模式的风速预报订正

(1)随机森林挑选重要特征

(2)K近邻和决策树模型订正风速

(3)梯度提升决策树GBDT订正风速

(4)模型评估与对比

7.3 台风预报数据智能订正

(1)CMA台风预报数据集介绍以及预处理

(2)随机森林模型订正台风预报

3)XGBoost模型订正台风预报

4)台风“烟花”预报效果检验

7.4 机器学习预测风电场的风功率

1)lightGBM模型预测风功率

2)调参利器—网格搜索GridSearch于K折验证

1683768589750.jpgimage.png

深度学习基本理论

深度学习基本理论知识讲解,深入了解机器学习的基础理论和工作原理,掌握如何构建和优化神经网络模型(如人工神经网络ANN,卷积神经网络CNN、循环神经网络RNN等),提高对现有深度学习算法和技术的理解和应用能力,更好地应对后续海洋气象相关领域的实际问题和应用。

8.2 Pytorch库

(1)sklearn介绍、常用功能和机器学习方法

学习经典机器学习库sklearn的常用功能,如鸢尾花、手写字体等公开数据集的获取、划分训练集和测试集、模型搭建和模型验证等。

(2) pytorch介绍、搭建 模型

学习目前流行的深度学习框架pytorch,了解张量tensor、自动求导、梯度提升等,以BP神经网络学习sin函数为例,掌握如何搭建单层和多层神经网络,以及如何使用GPU进行模型运算。

1683768653840.jpg1683768675027.jpg1683768693929.jpg

在学习使用ANN预测浅水方程的基础上,进一步掌握如何使用PINN方法,将动力方程加入模型中,缓解深度学习的物理解释性差的问题。此外,气象数据是典型的时空数据,学习经典的时序预测方法LSTM,以及空间卷积算法UNET。

9.1深度学习预测浅水方程模式

(1)浅水模型介绍和数据获取

(2) 传统神经网络ANN学习浅水方程

(3)物理约束网络PINN学习浅水方程

9.2 LSTM方法预测ENSO

(4)ENSO简介及数据介绍

(5)LSTM方法原理介绍

(6)LSTM方法预测气象序列数据

9.3深度学习—卷积网络

(1)卷积神经网络介绍

(2)Unet进行雷达回波的预测

1683771854578.jpg1683771902130.jpg

1683771921295.jpg

1683771940937.jpg

EOF统计分析

10.1 EOF基础和eofs库的介绍

10.2 EOF分析海表面温度数据

1)SST数据计算距平,去趋势

2)SST进行EOF分析,可视化

1683772029365.jpg

1683772055001.jpg

11.1 WRF模式后处理

(1)wrf-python库介绍

(2)提取站点数据

(3)500hPa形式场绘制

(4)垂直剖面图——雷达反射率为例

11.2 ROMS模式后处理

(1)xarray为例操作ROMS输出数据

(2)垂直坐标转换,S坐标转深度坐标

(3)垂直剖面绘制

(4)水平填色图绘制

1683772143685.jpg1683772158945.jpg

1683772174410.jpg

1683772198199.jpg1683772218177.jpg

气象海洋常用插值方法、GFS数值模式的风速预报订正、台风预报数据智能订正、机器学习预测风电场的风功率



https://blog.sciencenet.cn/blog-3559456-1387602.html

上一篇:LEAP软件如何构建交通部门减排模型?
下一篇:DNDC模型在土地利用变化、未来气候变化下的建模方法及温室气体时空动态模拟
收藏 IP: 111.225.77.*| 热度|

4 郑永军 李升伟 李学宽 宁利中

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-7-23 02:33

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部