zhaoyistop的个人博客分享 http://blog.sciencenet.cn/u/zhaoyistop

博文

批量下载CMIP6数据的几种方法

已有 9325 次阅读 2022-7-26 20:41 |个人分类:Data|系统分类:科研笔记

Coupled Model Intercomparison Project Phase 6 (CMIP6)是多模式集合预报气候变化及随着而来的地表环境变化的计划,其中包含了若干气候模型和陆面过程模型耦合模拟的结果,包括历史时期(historical)的模拟结果和不同RCPs、SSPs情景下的未来时期的预报,本文介绍下载CMIP6数据的几种方法。


一、参考资料、下载地址和工具准备

1.参考资料地址

CMIP6计划介绍:https://pcmdi.llnl.gov/CMIP6/

CMIP6各变量及对应缩写介绍:https://clipc-services.ceda.ac.uk/dreq/mipVars.html,可以通过输入关键词搜索自己想要的变量的缩写,或者在官网下载缩写对应表的excel文件。

CMIP6数据下载地址:https://esgf-node.llnl.gov/search/cmip6/

2.工具准备

浏览器:官网推荐Chrome或者Edge浏览器。

Linux环境:Linux主机或windows下的Linux虚拟机,本文采用win10下运行的ubuntu18.04。

下载工具:迅雷等常用下载url连接的工具。

二、数据搜索

1.打开数据下载网址,左侧是筛选数据的菜单,可以根据需求搜索数据。
下载主页
2.以下载历史时期的降水数据为例,介绍左边菜单中的主要选项
首先找到降水(precipitation)的缩写,在缩写查询网址输入precipitation,可以不输入全,发现缩写是pr
查询变量缩写
左侧菜单中,Source ID表示是用哪个模式算出来的,可以勾选需要的模式。
模式选择
Source Type是要搜索的变量的大类,根据需求选择,缩写的具体含义请自行查询。
数据分类选择
Nominal Resolution是数据的空间分辨率
分辨率
Experiment ID是模拟所使用的情景,包括不同SSP情景等,本样例要下载历史时期的数据,因此勾选 historical 选项。
情景
Variant Label似乎跟下载的NetCDF数据的投影有关,我也不太懂,基本上选 r1i1p1f1 就行了。
投影
Grid Label下载数据的格式,选 gn 就是NetCDF格式
数据格式
Frequency数据时间分辨率,选择自己需要的时间步长。
时间分辨率
Variable变量选择,根据刚才查询的缩写,找到 pr
变量
3. 点击右边搜索,发现找到1000多个符合要求的数据
搜索结果
可以手动把所要的数据加进 Data Cart,或者点击 Add all displayed results to Data Cart,把当前页面显示的数据全部加入 Data Cart。我们先把前10个数据加入 Data Cart。点击右上角按钮,转到 Data Cart界面,可以看到数据已经添加成功了。
在这里插入图片描述
在这里插入图片描述

三、数据下载

这边介绍三种下载方式,分别是:(1)通过网页单个下载;(2)通过提供的wget script批量下载;(3)通过迅雷等工具下载。

1.网页下载

网页下载只能通过手动点击一个一个下载,在数据多的时候不建议使用。
1.点击List Files,会显示一个数据里包含的文件。
List files
2.点击每个文件后面的HTTP Download,即可下载。
HTTP下载

2.Wget Script下载

1.检查Linux环境,Wget Script一般需要运行在Linux环境下,所以需要提前准备Linux虚拟机,Wget包一般Linux已经自带了,可以通过在Linux系统内输入以下代码查看:

wget --version

wget

2.在Data Cart中,选中所有数据,点击上方的 WGET Script 按钮。
生成链接
3. 完成第2步后,会生成一个或多个链接。
链接

4.点击链接,下载 .sh 脚本,可能会提示提交的信息不安全,点击仍然发送,下载得到脚本。注意数据可能不是来自同一个服务器,会生成多个脚本,所以要下载所有链接的脚本。
sh脚本

5.打开Linux虚拟机,进入.sh脚本所在的目录。或者在win10中,可以在脚本所在的文件夹的空白处,按住shift点击鼠标右键,选择 在此处打开Linux Shell
输入以下代码运行脚本:

./wget-20220726032932.sh -s

Tips: -s可以改为-H,但不能省略,省略的话会提示需要JAVA环境。

6.运行后,可以看到下载进度。
下载进度
有时会连不上服务器,等电脑自动连就可以了,或者换个时间下载。

3.迅雷等下载器下载

只要获取下载链接,也可以用迅雷等工具下载,这边用迅雷举例。
1.用文本工具(记事本等)打开下载到的.sh脚本,找到里面download_files中的下载链接信息。
url链接
2.一行信息中有4个部分,我们只要第二部分,也就是以 http 开头的 url链接,将所有下载链接中http开头的部分复制下来。注意不要复制到开头和结尾的 ‘’ 符号
复制链接
3.打开迅雷,新建任务,将所有链接复制进去,点击下载即可
迅雷下载
4.可以看到任务已经在下载了,迅雷还是比较快的,但有时会连不上服务器,可能要多试几次。
迅雷进度


本文提供了几种下载CMIP6数据的方法,希望对大家有所帮助。




https://blog.sciencenet.cn/blog-3452201-1348879.html

上一篇:水热耦合模型SHAW驱动数据说明和运行方法
下一篇:关于Arcinfo运行AML脚本无法正确生成DHSVM河道文件的问题的解决方法
收藏 IP: 223.2.33.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-23 10:33

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部