郭平的博客分享 http://blog.sciencenet.cn/u/pguo 计算机科学与技术

博文

天文大数据,大数据研究方向之一

已有 8207 次阅读 2014-10-2 18:37 |个人分类:科研札记|系统分类:观点评述

         在圈子里看到结青对大数据研究的感慨,对数据源及分享提出的问题。

的确,大数据是领域相关的,政府、企业与医疗等机构的数据涉及到安全、利益与隐私问题,要开放与共享是有难度的。但是如果研究大数据的处理技术,而不是去挖掘具有商业价值的大数据,不妨换个思路,用不涉及安全、利益与隐私问题的大数据作为数据源。

被誉为“大数据时代的预言家”维克托•迈尔•舍恩伯格的国外大数据系统研究的先河之作《大数据时代:生活、工作与思维的大变革》书里“大数据先锋”一节中写到:

“天文学,信息爆炸的起源

只有考虑到社会各个方面的变化趋势,我们才能真正意识到信息爆炸已经到来。我们的数字世界一直在扩张。以天文学为例,2000年斯隆数字巡天(Sloan Digital Sky Survey)项目启动的时候,位于新墨西哥州的望远镜在短短几周内收集到的数据,已经比天文学历史上总共收集的数据还要多。到了2010年,信息档案已经高达1.4×242字节。不过,预计2016年在智利投入使用的大型视场全景巡天望远镜(Large SynopticSurvey Telescope,LSST)能在五天之内就获得同样多的信息。天文学领域的变化在各个领域都在发生。”

从上可知,天文学是最早迎接大数据挑战的领域。随着天文观测技术的发展,天文学已经进入了一个信息丰富的大数据时代,天文数据正在以TB级甚至PB量级的速度不断增长。目前国际上已有多个国家进行了大规模的巡天项目,SDSSSloan Digital Sky Survey)外,还有Pan-STARRS1The Panoramic Survey Telescope and Rapid Response System)、WISE (Wide-field Infrared Survey Explorer) 2MASS (Two Micron All Sky Survey)Gaia UKIDSS UKIRT Infrared Deep Sky Survey)、NVSSThe NRAO VLA Sky Survey)、FIRST(Faint Images of the Radio Sky at Twenty-cm) 2df (Two-degree-Field Galaxy Redshift Survey)LAMOSTThe Large Sky Area Multi-ObjectFiber Spectroscopic Telescope --郭守敬望远镜)等等,这些巡天项目每天都在产生着海量的天文数据。目前,业界对大数据的看法不尽相同,但大数据应具备的4V特征已达成共识,即:Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)或 Value (价值)。天文数据具备4V特征,因此天文数据是大数据。在难以获取其他大数据时,不妨考虑根据天文学领域的需求,结合计算机科学、模式识别、系统科学等相关学科领域的理论与方法,研究与发展天文大数据的处理技术。

不同于其他具有商业价值的大数据应用领域,研究天文大数据是面向基础自然科学研究领域的应用。相信可以推动对大数据研究的的发展,在研究技术上形成百花齐放的局面。

 

附:结青的感慨

 

    大数据不会产生于校园,只会产生于政府、企业、医疗等机构。经过媒体不懈地宣传,大家都知道大数据是宝藏。谁会把宝藏轻易让他人去挖掘?有见过地主家有余粮,请别人一块儿吃的吗?跟当年科学数据和科学计算可视化的研究类似。后者缺乏数据源,导致国内可视化研究停滞了很长一段时间,当然这只是其中的原因之一。不解决数据源问题,或者仅靠个人关系拿到数据,大数据的研究只是无源之水,无本之木。一两家的研究难成气候。况且,我们的传统是轰轰烈烈地开始,悄无声息地结束。归根到底,要放开数据源,请所有人都有机会去参与,现成百花齐放的局面。这太难了,信息化社会,一切都蕴含在数据中,举个不恰当的例子:谁会脱了衣服请人参观?





https://blog.sciencenet.cn/blog-103425-832526.html

上一篇:软件可靠性工程中的计算智能方法
下一篇:某著名“985”高校的教授岗位设置和聘用实施细则
收藏 IP: 219.224.30.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-22 19:43

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部