|||
伴随在互联网时代不断涌现出的技术进步,如何重新构造快速增长的海量气象信息存储与应用体系,一直是在气象业务领域中需要面对和不断探讨的课题。过去几十年,存储设备在技术上的进步,如存储量不断增加、体积不断缩小、成本不断降低,推动着气象信息存贮能力的持续提升,各级气象业务单位都可以通过不断购置和使用自己独立的存贮设备来解决气象信息存贮和调用问题。
另一方面,在信息技术快速进步的形势下,对数据应用的要求也不断提升,要解决的问题不仅是海量数据的安全存储,同时还要满足数据的快速便捷应用,依靠单一或集中的存储设备能力的提高显然已暴露出了其先天缺陷,传统的网络互联访问也难以有效应对这一难题。
该如何选择未来的技术解决方案呢?云技术的出现,无疑带来了一缕曙光。尽管仅就成熟度而言,云技术已从最前沿的创新领域中逐渐退出,但也正是由于其技术上的成熟,为应用上的可靠提供了基础。需要解决的问题则是在具体方案上的设计与实现。在中国,依靠云技术进行数据处理已不乏成功的案例,如著名的阿里电商,每天要处理、传输、存储海量信息,他们正是依靠云技术解决了这一难题。
云技术的应用虽已有了坚实的理论支撑和实践基础,但在设计不同领域的具体解决方案时则可能要面对完全不同的要求和问题。由于运行方式和需求的不同,在某一领域的成功未必可以照搬复制,需要谨慎选择,合理设计,与实际需求对接。
那么,在海量气象数据存储与应用方面,通过云技术来实现可行吗?哪类数据可以适用这一技术呢?前不久世界气象组织(WMO)和美国天气局(NWS)在美国新奥尔良组织举办的大数据研讨会上,亚马逊公司(AMAZON)介绍了一个成功案例。
在各类气象资料中,天气雷达数据的存储与传输显然是具有挑战性的。大约每6分钟一部雷达就会完成一次体扫,形成一个完整的局地数据集,数据量达10M以上。美国有160部天气雷达,从1991年开始投入业务使用,至今连续运转了20多年了,累计的数据量估计要达天文数字了。如何将这些雷达信息合理地存储并方便地调用呢?若按传统的方式,也未必难,毕竟存储设备的能力发展很快,分散或集中存储都不难做到。但若有人提出要实时调用这些数据的需求,特别是20多年来积累的历史数据,如何处理就不是件简单的事了。
美国海洋大气局(NOAA)在其大数据发展计划中将这一任务的实现托付给了亚马逊公司,要求所有的历史和实时运行的雷达信息资料都可以随时调用。亚马逊利用他们在云技术领域的优势将这一目标顺利实现了,展现出了现代科技的魅力。听了这一介绍,确实令人兴奋,看到了气象资料存储与应用的一种便捷可行的解决方案。一位来自韩国的代表显然也很感兴趣,问了一个问题,韩国没有那么多雷达,若建立这样的系统,从成本收益角度是否合算。亚马逊代表的回答也很巧妙,若是交给我们解决,现有的体系足够应对了,不用增加多少投入,我们的云系统覆盖了许多国家,包括亚洲的中国、日本、韩国。看来这家企业对其业务的未来拓展确实很有眼光,早已瞄准了全球潜在的市场进行布局。
亚马逊有非常强大的网络服务系统AmazonWeb Services (AWS),构成了他们云技术的基础。但雷达数据的存贮与应用也绝非易事,需要多方面的技术支持。亚马逊在做介绍时谈到了他们一起开发的合作伙伴,除了NOAA外,还包括UNIDATA公司、THEWEATHER COMPANY、THE CLIMATE CORPORATION、CARTODB等。一些学生与研究人员也参与了该系统的应用开发。亚马逊介绍说,在众多企业与科技人员共同参与的过程中,同时也创建了围绕这些资料应用的生态系统,这些开发者同时也是未来的使用者。。
雷达资料的解决仅是一个案例,在气象业务中,还有大量其他实时探测信息,包括数据量很大的卫星产品,或许依照云技术思路,可以设计出合理的解决方案,满足未来海量气象信息存储与应用的需求。
技术进步或许仅是问题的一个侧面,更需要关注的则是观念上的转变。亚马逊在介绍时特别强调的一个理念是要建立一个开放的数据系统,任何人为了实现任何目标都可以自由地使用这些数据。信息的共享和方便、快捷、灵活的使用,以及与合作伙伴的相互信任,既能充分挖掘其使用价值,也能促进更多创新。在国内,这或许是更值得优先探索和解决的问题。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-20 21:25
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社