|||
继之前松下声称自己研发出了“世界上最好的气象模式”之后,今年1月在拉斯维加斯召开的国际消费类电子产品展览会(CES)上,IBM又高调宣布即将发布“世界上分辨率最高的全球数值天气预报模式”——3公里分辨率的GRAF。
IBM此役非常高调
首先由CEO罗睿兰在CES会议上亲自宣布
然后大批媒体跟进报道
“该模型可以拥有世界上最好的短期预测”
消息一传开,围观群众惊得瓜都掉了:美国GFS全球模式是13公里,欧洲中心的全球模式是9公里,IBM竟然只有3公里?!是如何做到的?观天者今天来解读,新闻背后的故事。
GRAF的前世今生
首先,有两个说法需要纠正。
一、这个模式并不是IBM开发的
开发一个数值天气预报模式是工作量非常浩大的系统工程,目前还没有哪个公司能够承担这种资本、技术、劳动都很密集的研发工作。
IBM的全球模式GRAF其框架来源于美国国家大气科学研究中心(NCAR)和洛斯阿拉莫斯国家实验室(LANL)联合开发的MPAS(跨尺度预报模式)。NCAR主要负责大气模型,LANL主要负责海洋和陆地冰模型,IBM完成了后期模式在GPU上的移植。
洛斯阿拉莫斯国家实验室
可比NCAR有名多了
世界上第一颗原子弹和第一颗氢弹都在此诞生
2014年,美国开始实施下一代天气预报模式研发项目(NGGPS),在2014年选定了6个候选模式。经过第一阶段严格评测,MPAS和NOAA地球流体动力学实验室(GFDL)的FV3模式进入了决赛,而在2016年2选1的PK中,MPAS惜败,FV3成为了继承大统的下一代GFS 。
当时就有很多科学家对这个PK结果不满意,著名气象学家华盛顿大学Cliff Mass就坚定认为,MPAS明显优于FV3,MPAS更适合对流分辨率(4公里以下)的模拟,EC等机构开发的下一代模式的分辨率都是在这样的量级上。
然而剧情反转让人措手不及——
两年后,曾经风光无两的FV3在业务试运行阶段表现不佳,正被美帝人民吐槽为“美国天气预报的灾难”,业务化进程屡屡受阻;
而被”弃用“的MPAS却转角遇到爱,拥抱商业气象大佬IBM,得到全球气象行业瞩目,表现出巨大应用潜力,迎来了自己的春天。
二、这个模式并不是全球3公里
MPAS最主要的特色是使用了一种“非结构化网格”,这种网格的分辨率可以灵活变化——针对关注的区域可以配置更高的分辨率,在海洋等其它区域可以降低分辨率以提高计算效率。综合下来,在陆地区域,其平均分辨率为3 km。
对于传统的全球模式+区域模式来说,也可以在区域内实现3公里的模式预报,例如美国的高分辨率快速更新系统(HRRR)分辨率也是3公里,在欧洲、日本和我国的北上广等地区,也都有3公里甚至1公里的区域模式。
广州市气象局1公里超高分辨率
GRAPES区域数值预报模式
2017年初就业务运行了
所以单从分辨率上来说,MPAS并没有比传统的数值预报模式有太大进步,而且这种“非结构化网格”成本惊人,这也是为什么在当年MPAS在决赛中输给了FV3——MPAS比FV3的人力投入多50%,计算机能力增加量是FV3的10倍,综合下来,效率只有FV3的三分之二。
IBM为什么要做GRAF
那么问题来了:
既然美国政府都因为成本太高,放弃了MPAS模式,为什么注重投资回报率的商业公司反而捡回来大力发展呢?IBM不做科研,也不做慈善,它当然还是看到了商机。
一、占稳高性能计算技术高地
限制数值天气预报模式发展的一个重要因素就是计算能力,此前NOAA核算,如果要在业务上运行MPAS,现有计算能力需要提高28.8倍。因此,为了适应下一代计算技术,全球各家天气预报模式都在探索基于GPU的运算。
EC从2014年开始探索
使用GPU来对模式计算进行加速
但尚未正式业务化运行
作为高性能计算的上游技术公司,IBM不缺计算资源,缺的是应用场景,因此这对于IBM来说是个绝佳机会。
为了运行GRAF全球模式,IBM建设了一台基于OpenPOWER的超级计算系统,有84个节点,每个节点配备4个GPU及3.5 PB的存储,在IBM Spectrum LSF的管理下,每天可以处理10TB天气数据,带宽是原来的5.6倍。
如果2019年IBM模式顺利上线,将是全球第一个基于GPU的业务数值天气预报模式,IBM由此站稳数值模拟高性能计算的技术高地。
而且,MPAS 的GPU代码也将会开源,与之完美契合的IBM异构集群将会成为MPAS运行的首选平台,未来如果MPAS在全球各国业务、科研、企业中广泛使用,必然会推高IBM集群的销售业绩。
二、挖掘独家观测资料价值
得观测者得天下。对于商业气象公司来说,独家数据无疑是核心市场竞争力。和松下一样,IBM也是从独家观测数据发力,向政府气象部门数值模式发出挑战的。GRAF的独家数据,既包括其麾下WU的私人气象观测站数据,也有各种传感器的上传数据。
在前面的文章中,观天者曾介绍过Wunderground如何玩转众包气象观测。2012年WU被TWC收购,2016年又随着TWC一起收编到了IBM大家庭中。目前,WU拥有规模最大的私人气象站观测网,有超过25万个私人气象观测站。
Wunderground官网
是全球访问量第二大的天气网站
每月有近5000万访客
随着5G物联网时代的到来,对海量增长的新兴天气数据的利用是气象行业引人注目的新趋势。每5秒钟一次的飞机传感器数据,千万量级手机气压传感器数据,汽车外部气温传感器、雨刷器数据以及各种物联网低成本传感器的上传数据,都在GRAF的同化资料清单中。
在手机数据方面的采集和利用方面,和欧盟相比,美国和中国有关隐私保护法令相对宽松。虽然今年洛杉矶市提出了一项针对IBM的指控,关于TWC违规收集用户的精确位置信息,但似乎没有影响IBM抢先做实物联网时代的大数据经济。
在GRAF模式中同化这些新兴观测资料,从而反馈更加精确的预报。这种有益的互动,会更加激发用户主动上传观测、购买预报服务的意愿。
如果同意上传自己的手机传感器数据
你得到的天气预报准确率将提高20%
你会拒绝吗?
三、布局观测稀疏区气象商业新兴市场
虽然大气无国界,但世界各地的天气预报水平其实非常不均衡。3公里以上级别的高分辨率模式,仅限于美国、日本、欧洲以及中国的部分地区;而对于缺少靠谱的观测资料的非洲和南美洲,无论是模式分辨率,还是预报准确率,都差一个档次。
IBM看到了这背后的商机,从短板入手,专注于提高观测稀疏区域(南美洲和非洲)的预报准确率。这些地区的各国政府气象部门,以及商业公司,很有可能会购买IBM的模式产品,提升气象服务水平。
政府气象部门往往受限于其服务的行政范围
仅针对部分区域开展服务
但商业公司却可能拥有更大的格局
面向全球需求,布局全球市场
气象商业生态进化路线
从IBM的发展历程中,可以清晰地看到商业气象公司的发展升级的路径:
最初的TWC是在气象产业最下游,为电视台、网站和报纸等媒体,提供天气预报产品,主要做的事天气信息的加工和分发;IBM则从硬件和计算平台端切入,协助NOAA开发短临预报模式;
2012年TWC收购了Wunderground,开始拥有独家观测资料,并在此基础上对政府公开的模式产品进行后处理,具备了生产信息的能力;IBM则开始从平台向内容进发,研发灾害管理平台,应用机器学习算法提升云预测模式。
2016年IBM奔着数字地球和大数据经济的大方向收购了The Weather Company,但怎么利用这些气象专业技术?怎么让Watson和气象数据擦出火花?怎么发挥900名专业预报员的作用?怎么把几十万个私人气象站用起来?并没有给出明确路线;
2017年6月21日,在法兰克福举行的国际超级计算大会上IBM宣布了和NCAR的合作计划,方向明确下来,整合资源,做高时间和空间分辨率的全球模式,”为基于天气预报作出关键决策的企业带来巨大利益“,”用纳税人对天气模型开发的投资帮助美国企业在全球市场中竞争“。
2019年宣布即将发布分辨率最高的全球气象模式,终于切入气象服务的最上游。虽然IBM声称模式结果是否可供购买“尚未完全确定”,但GRAF的模式产品应该不会向公众公开。在2B端和GFS竞争,卖给下游气象服务公司,在2G端抢EC的饭碗,卖给各国政府气象部门。
观天者说
近年来,气象产业发展迅速,新玩家不断涌现,角色关系错综复杂,相互依存和制约。2016年美国召开听证会,召集政府气象部门、气象学术界、气象商业界五位大佬,讨论学界商界政府如何合作,共同提升气象科研水平和服务能力。
群~星~璀~璨~的听证会
从左到右依次是——
AccuWeather的创始人和CEO
迈尔斯博士Dr.Myers
世界最大的气象咨询公司DNT
首席气象官Jim Block
前松下首席气象学家现任美国商务部副部长
年轻有为Neil Jacobs
UCAR总裁、此次和IBM合作的主导者
Antonio J. Busalacchi
刚退休的AMS主席,SPIRE Global首席顾问
麦当劳爷爷Dr. MacDonald
观天者认为,未来无论是政府气象部门、商业气象公司、还是高校科研机构,凭借自身的力量,都很难适应信息技术的快速发展和气象产业的不断升级。必须在气象局、气象公司、高校和公众的角色定位等核心问题上达成共识,建立三方合作共赢的机制,才能实现从国家气象事业,到民族气象产业,以及人类气象科学的腾飞。
明确政府与公司合作模式
以最大化天气社会价值的经典报告
《Fair Weather: Effective Partnerships
in Weather and Climate Services》
参考资料
http://www.cma.gov.cn/2011xzt/2015zt/20150817/201608/t20160803_318454.html
https://www.ecmwf.int/sites/default/files/elibrary/2018/18628-accelerating-weather-prediction-nvidia-gpus.pdf
https://www-03.ibm.com/press/us/en/pressrelease/52658.wss
https://v.youku.com/v_show/id_XMTYwMjA2OTk4OA==.html
http://120.52.51.13/on-demand.gputechconf.com/gtc/2018/presentation/s8811-an-agile-approach-to-building-a-gpu-enabled-and-performance-portable-global-cloud-resolving-atmospheric-model.pdf
-----------------------------------------------------------------------
《海洋生态大讲堂》微信公众号
浙江省重点智库宁波大学东海研究院合作微媒平台
海洋在说话,您我来代言!
《海洋生态大讲堂》欢迎您!
投稿邮箱:550931758@qq.com
请您在留言中标注为《海洋生态大讲堂》投稿,
并提供个人简历及联系方式。
我们筛选审核后,将以全文刊出!
热烈欢迎广大自愿者合伙参与公众号运营!
附: 投稿类型与要求
(1)主题一定是有关海洋生态学内容的稿件;
(2)原创文章,请配必要的图表;
(3)好文推荐,直接发来原文,或请注明出处;
(4)重要会议报道或信息,请附必要图表及其标题说明;
(5)重大项目科研进展,或重大会议学术报告PPT;
(6)重点团队介绍,或重要人物专访。
您的赞赏是我们前行的最大动力
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2025-1-3 11:59
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社