中国海洋分享 http://blog.sciencenet.cn/u/ysf6 生态管理缔造美丽海洋

博文

[转载]IBM为什么要做世界上分辨率最高的气象模式?

已有 3003 次阅读 2019-3-21 08:57 |个人分类:海洋科技|系统分类:海外观察|文章来源:转载

IBM为什么要做世界上分辨率最高的气象模式?

来源: 观天者说 观天者说 2019-03-16

继之前松下声称自己研发出了“世界上最好的气象模式”之后,今年1月在拉斯维加斯召开的国际消费类电子产品展览会(CES)上,IBM又高调宣布即将发布“世界上分辨率最高的全球数值天气预报模式”——3公里分辨率的GRAF


IBM此役非常高调

首先由CEO罗睿兰CES会议上亲自宣布

然后大批媒体跟进报道

“该模型可以拥有世界上最好的短期预测”


消息一传开,围观群众惊得瓜都掉了:美国GFS全球模式是13公里,欧洲中心的全球模式是9公里,IBM竟然只有3公里?!是如何做到的?观天者今天来解读,新闻背后的故事。


       GRAF的前世今生


首先,有两个说法需要纠正。


一、这个模式并不是IBM开发的


开发一个数值天气预报模式是工作量非常浩大的系统工程,目前还没有哪个公司能够承担这种资本、技术、劳动都很密集的研发工作。



IBM的全球模式GRAF其框架来源于美国国家大气科学研究中心(NCAR)和洛斯阿拉莫斯国家实验室(LANL)联合开发的MPAS(跨尺度预报模式)。NCAR主要负责大气模型,LANL主要负责海洋和陆地冰模型,IBM完成了后期模式在GPU上的移植。


洛斯阿拉莫斯国家实验室

可比NCAR有名多了

世界上第一颗原子弹和第一颗氢弹都在此诞生


2014年,美国开始实施下一代天气预报模式研发项目(NGGPS),在2014年选定了6个候选模式。经过第一阶段严格评测,MPAS和NOAA地球流体动力学实验室(GFDL)的FV3模式进入了决赛,而在2016年2选1的PK中,MPAS惜败,FV3成为了继承大统的下一代GFS 。



当时就有很多科学家对这个PK结果不满意,著名气象学家华盛顿大学Cliff Mass就坚定认为,MPAS明显优于FV3,MPAS更适合对流分辨率(4公里以下)的模拟,EC等机构开发的下一代模式的分辨率都是在这样的量级上。



然而剧情反转让人措手不及——


两年后,曾经风光无两的FV3在业务试运行阶段表现不佳,正被美帝人民吐槽为“美国天气预报的灾难”,业务化进程屡屡受阻;


而被”弃用“的MPAS却转角遇到爱,拥抱商业气象大佬IBM,得到全球气象行业瞩目,表现出巨大应用潜力,迎来了自己的春天。


二、这个模式并不是全球3公里


MPAS最主要的特色是使用了一种“非结构化网格”,这种网格的分辨率可以灵活变化——针对关注的区域可以配置更高的分辨率,在海洋等其它区域可以降低分辨率以提高计算效率。综合下来,在陆地区域,其平均分辨率为3 km。



对于传统的全球模式+区域模式来说,也可以在区域内实现3公里的模式预报,例如美国的高分辨率快速更新系统(HRRR)分辨率也是3公里,在欧洲、日本和我国的北上广等地区,也都有3公里甚至1公里的区域模式。


广州市气象局1公里超高分辨率

GRAPES区域数值预报模式

2017年初就业务运行了


所以单从分辨率上来说,MPAS并没有比传统的数值预报模式有太大进步,而且这种“非结构化网格”成本惊人,这也是为什么在当年MPAS在决赛中输给了FV3——MPAS比FV3的人力投入多50%,计算机能力增加量是FV3的10倍,综合下来,效率只有FV3的三分之二。


  

     IBM为什么要做GRAF


那么问题来了

既然美国政府都因为成本太高,放弃了MPAS模式,为什么注重投资回报率的商业公司反而捡回来大力发展呢?IBM不做科研,也不做慈善,它当然还是看到了商机


一、占稳高性能计算技术高地


限制数值天气预报模式发展的一个重要因素就是计算能力,此前NOAA核算,如果要在业务上运行MPAS,现有计算能力需要提高28.8倍。因此,为了适应下一代计算技术,全球各家天气预报模式都在探索基于GPU的运算。


EC从2014年开始探索

使用GPU来对模式计算进行加速

但尚未正式业务化运行


作为高性能计算的上游技术公司,IBM不缺计算资源,缺的是应用场景,因此这对于IBM来说是个绝佳机会。


为了运行GRAF全球模式,IBM建设了一台基于OpenPOWER的超级计算系统,有84个节点,每个节点配备4个GPU及3.5 PB的存储,在IBM Spectrum LSF的管理下,每天可以处理10TB天气数据,带宽是原来的5.6倍。 



如果2019年IBM模式顺利上线,将是全球第一个基于GPU的业务数值天气预报模式,IBM由此站稳数值模拟高性能计算的技术高地。


而且,MPAS 的GPU代码也将会开源,与之完美契合的IBM异构集群将会成为MPAS运行的首选平台,未来如果MPAS在全球各国业务、科研、企业中广泛使用,必然会推高IBM集群的销售业绩。


二、挖掘独家观测资料价值


得观测者得天下。对于商业气象公司来说,独家数据无疑是核心市场竞争力。和松下一样,IBM也是从独家观测数据发力,向政府气象部门数值模式发出挑战的。GRAF的独家数据,既包括其麾下WU的私人气象观测站数据,也有各种传感器的上传数据。


在前面的文章中,观天者曾介绍过Wunderground如何玩转众包气象观测2012年WU被TWC收购,2016年又随着TWC一起收编到了IBM大家庭中。目前,WU拥有规模最大的私人气象站观测网,有超过25万个私人气象观测站。


Wunderground官网

全球访问量第二大的天气网站

每月有近5000万访客


随着5G物联网时代的到来,对海量增长的新兴天气数据的利用是气象行业引人注目的新趋势。每5秒钟一次的飞机传感器数据,千万量级手机气压传感器数据,汽车外部气温传感器、雨刷器数据以及各种物联网低成本传感器的上传数据,都在GRAF的同化资料清单中。


在手机数据方面的采集和利用方面,和欧盟相比,美国和中国有关隐私保护法令相对宽松。虽然今年洛杉矶市提出了一项针对IBM的指控,关于TWC违规收集用户的精确位置信息,但似乎没有影响IBM抢先做实物联网时代的大数据经济


在GRAF模式中同化这些新兴观测资料,从而反馈更加精确的预报。这种有益的互动,会更加激发用户主动上传观测、购买预报服务的意愿。

如果同意上传自己的手机传感器数据

你得到的天气预报准确率将提高20%

你会拒绝吗?


三、布局观测稀疏区气象商业新兴市场


虽然大气无国界,但世界各地的天气预报水平其实非常不均衡。3公里以上级别的高分辨率模式,仅限于美国、日本、欧洲以及中国的部分地区;而对于缺少靠谱的观测资料的非洲和南美洲,无论是模式分辨率,还是预报准确率,都差一个档次。


IBM看到了这背后的商机,从短板入手,专注于提高观测稀疏区域(南美洲和非洲)的预报准确率。这些地区的各国政府气象部门,以及商业公司,很有可能会购买IBM的模式产品,提升气象服务水平。


政府气象部门往往受限于其服务的行政范围

仅针对部分区域开展服务

但商业公司却可能拥有更大的格局

面向全球需求,布局全球市场



     气象商业生态进化路线


从IBM的发展历程中,可以清晰地看到商业气象公司的发展升级的路径:


  • 最初的TWC是在气象产业最下游,为电视台、网站和报纸等媒体,提供天气预报产品,主要做的事天气信息的加工和分发;IBM则从硬件和计算平台端切入,协助NOAA开发短临预报模式;

  • 2012年TWC收购了Wunderground,开始拥有独家观测资料,并在此基础上对政府公开的模式产品进行后处理,具备了生产信息的能力;IBM则开始从平台向内容进发研发灾害管理平台,应用机器学习算法提升云预测模式。


  • 2016年IBM奔着数字地球大数据经济的大方向收购了The Weather Company,但怎么利用这些气象专业技术?怎么让Watson和气象数据擦出火花?怎么发挥900名专业预报员的作用?怎么把几十万个私人气象站用起来?并没有给出明确路线;


  • 2017年6月21日,在法兰克福举行的国际超级计算大会上IBM宣布了和NCAR的合作计划,方向明确下来,整合资源,做高时间和空间分辨率的全球模式,”为基于天气预报作出关键决策的企业带来巨大利益“,”用纳税人对天气模型开发的投资帮助美国企业在全球市场中竞争“。

  • 2019年宣布即将发布分辨率最高的全球气象模式,终于切入气象服务的最上游。虽然IBM声称模式结果是否可供购买“尚未完全确定”,但GRAF的模式产品应该不会向公众公开。在2B端和GFS竞争,卖给下游气象服务公司,在2G端抢EC的饭碗,卖给各国政府气象部门。


     观天者说


近年来,气象产业发展迅速,新玩家不断涌现,角色关系错综复杂,相互依存和制约。2016年美国召开听证会,召集政府气象部门、气象学术界、气象商业界五位大佬,讨论学界商界政府如何合作,共同提升气象科研水平和服务能力。


群~星~璀~璨~的听证会

从左到右依次是——

AccuWeather的创始人和CEO

迈尔斯博士Dr.Myers

世界最大的气象咨询公司DNT

首席气象官Jim Block

前松下首席气象学家现任美国商务部副部长

年轻有为Neil Jacobs

UCAR总裁、此次和IBM合作的主导者

Antonio J. Busalacchi

刚退休的AMS主席,SPIRE Global首席顾问

麦当劳爷爷Dr. MacDonald


观天者认为,未来无论是政府气象部门、商业气象公司、还是高校科研机构,凭借自身的力量,都很难适应信息技术的快速发展和气象产业的不断升级。必须在气象局、气象公司、高校和公众的角色定位等核心问题上达成共识,建立三方合作共赢的机制,才能实现从国家气象事业,到民族气象产业,以及人类气象科学的腾飞。


明确政府与公司合作模式

以最大化天气社会价值的经典报告

《Fair Weather: Effective Partnerships

 in Weather and Climate Services



参考资料

http://www.cma.gov.cn/2011xzt/2015zt/20150817/201608/t20160803_318454.html

https://www.ecmwf.int/sites/default/files/elibrary/2018/18628-accelerating-weather-prediction-nvidia-gpus.pdf

https://www-03.ibm.com/press/us/en/pressrelease/52658.wss

https://v.youku.com/v_show/id_XMTYwMjA2OTk4OA==.html

http://120.52.51.13/on-demand.gputechconf.com/gtc/2018/presentation/s8811-an-agile-approach-to-building-a-gpu-enabled-and-performance-portable-global-cloud-resolving-atmospheric-model.pdf



-----------------------------------------------------------------------

《海洋生态大讲堂》微信公众号

浙江省重点智库宁波大学东海研究院合作微媒平台


海洋在说话,您我来代言!

《海洋生态大讲堂》欢迎您!

投稿邮箱:550931758@qq.com

请您在留言中标注为《海洋生态大讲堂》投稿,

并提供个人简历及联系方式。

我们筛选审核后,将以全文刊出!

热烈欢迎广大自愿者合伙参与公众号运营!


                附: 投稿类型与要求

                (1)主题一定是有关海洋生态学内容的稿件;

                (2)原创文章,请配必要的图表;

                (3)好文推荐,直接发来原文,或请注明出处;

                (4)重要会议报道或信息,请附必要图表及其标题说明;

                (5)重大项目科研进展,或重大会议学术报告PPT;

                (6)重点团队介绍,或重要人物专访。

您的赞赏是我们前行的最大动力




https://blog.sciencenet.cn/blog-1721-1168722.html

上一篇:[转载]入侵性本土植物是啥?比如这种天山深处的“美人”……
下一篇:[转载]一个人都没有,保护荒野有意义么? | 生态文明教育
收藏 IP: 180.168.155.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-23 16:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部