complexityworld分享 http://blog.sciencenet.cn/u/pb00011127

博文

什么是大数据?

已有 66642 次阅读 2012-8-18 01:41 |个人分类:生活点滴|系统分类:观点评述

《自然》杂志在20089月推出了名为“大数据”的封面专栏,讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色,如今这个词语近却成了工商界和金融界的新宠。关于大数据的会议和论坛如雨后春笋层出不穷,但到底什么是大数据,依然众说纷纭。我们认为,大数据具有规模大、价值高、交叉复用、全息可见四大特征!特别地,最后两个特征体现了大数据不仅仅有“规模更大的数据”这种量上的进步,还具有不同于以前数据组织和应用形式的质的飞跃。

数十年来,信息产生、组织和流通方式革命性的变化,其中个人用户第一次成为信息产生和流通的主体。你上传到flickr的一张照片规模大约一兆,上传到YouTube的一个视频恐怕有数十兆,你还通过电子邮件把这些照片和视频发给了你的朋友,用QQMSN聊天,用手机打电话发短信,在电子商务网站的浏览和购物,用信用卡支付,发微博,打联网游戏……这一切都将转化为数据存储在世界的各个角落。不论是产生的信息量,可以获取的信息量,还是流通交换的信息量,都一直呈指数增长。仅仅十余年,很多企业爬过MB时代,走过GB时代,现在正被赶着跑过TB时代,去迎接PB时代。事实上,如中国移动、联通、电信这样的移动通讯运营商,如谷歌、百度、阿里巴巴、腾迅、新浪这样的大互联网公司,如国家电网、交通运输部这样的职能部门,每天数据的更新量已经接近或达到了PB量级。数据规模巨大且持续保持高速增长是大数据的第一个特征

数据规模爆炸性增长的同时,数据产生的附加价值似乎没有与之同步增长。有学者认为数据价值的密度会随着数据量增加而降低——这种悲观的论调得不到任何必然性因果关系的支持。我们认为,这种滞后情况的症结在于缺乏从海量数据中挖掘价值的高效方法和技术人员。试想一组数据的价值如果是其规模的自然对数,当你从1GB的数据中挣到9块钱,给你1PB的数据,你只能挣到15块钱。而如果该数据的价值和其规模成正比,那么1PB的数据可以给你带来900万元的价值。对于前者,我们实在惭愧称其为大数据,最多只算是“一大堆无用的数据”罢了。举个例子,精确到小数点后几亿位的π值,其规模巨大价值巨小,如果还非要往万亿位、亿亿位上进行计算和存储,恐怕是正好与大数据的理念背道而驰。对于真正的大数据,其价值的增长应该正比于规模的增长,甚至快于规模的增长

刚才两个特征主要还是针对单一数据,下面的两个特征强调的是若干数据之间新的组织和应用形式。如果每一个数据都是一个孤岛,只能在其直接关联的领域发挥自身的价值,那么这不是一个值得我们兴奋和期待的新时代。我们要找到和实现数据之间一加一远大于二的价值,其间最关键的问题要发挥数据的外部性,譬如国家电网智能电表的数据可以用于估计房屋空置率,淘宝销售数据可以用来判断经济走势,移动通讯基站定位数据可以用于优化城市交通设计,微博上的关注关系和内容信息可以利用于购物推荐和广告推送……以用户为中心,结合用户在不同系统留下的数据,充分利用个性化的数据挖掘技术,是实现通过数据交叉而产生巨大价值的最可行的途径之一。综上,大数据要求数据能充分发挥其外部性并通过与某些相关数据交叉融合产生远大于简单加和的巨大价值

如果谷歌把每天超过1PB更新的数据按照他们内部约定的格式开放给一个三四个人组成的科研团队或者创业团队,这种仁善之举不会对这个团队有任何的帮助,因为他们没有针对这种量级的数据进行检索、抓取、计算、分析的能力。也许他们仅仅只对数据内部的一个特定逻辑片段有兴趣,但是他们没有办法知道这个逻辑片段位于这个数据的哪个位置,以及通过什么办法获取。想象一个披着盔甲的二维生物,其他二维生物无法看到它的内部,但是我们作为三维人,却可以通过第三个维度看到它所有的一切细节——低维物品对于高维生物而言是全息可见的。所以说,大数据规模可以很大,但是用起来应该像操作一个“小数据”一样简单,这就要求数据组织地非常好,内部的各种内容及关联清晰可见且容易调用获取。一句话,一般研究人员和开发人员可以自如获取数据的逻辑片段并进行分析处理

现在所流行的“大数据的4V”,只是不痛不痒生搬硬套的无病呻吟,对于深入思考大数据时代的必然性和未来具有阻碍的作用,同时也庸俗化了大数据的意义!举个例子,处理速度快绝对不是大数据的特征,而仅仅是互联网信息服务的自身需求——10年以前没有人谈大数据,互联网用户也不会苦等1个小时。那个时候数据量较小,但是实时计算的难度不比现在小,因为存储计算能力差,亦没有成熟的云计算架构和充分的计算资源。现在很多数据,譬如用于交通规划、宏观经济分析、电力系统规划、气象预报的数据,以及高能物理、等离子物理、基因工程等等实验数据,都是最最典型的大数据,而相关的计算工作,短的数小时,长的可以达到数月数年,一样价值巨大。显然,1秒钟算出来不是大数据的特征,而“算得越快越好”从人类有计算这件事情以来就没有变化过,把它作为一个新时代的主要特征,完全是无稽之谈。

https://blog.sciencenet.cn/blog-3075-603325.html

上一篇:阿里巴巴商学院在国际顶尖期刊Physics Reports上发表综述论文
下一篇:人类行为时空规律初探 [公众科普-无参考文献]
收藏 IP: 182.148.111.*| 热度|

23 李伟钢 张海峰 章成志 唐朝生 李本先 房松 闫小勇 朱郁筱 邸利会 余露 王晓光 武夷山 曾春华 刘润然 肖永红 杨正瓴 王启云 符海洋 张千明 田灿荣 秦健勇 何乐群 rosejump

该博文允许注册用户评论 请点击登录 评论 (28 个评论)

IP: 113.205.158.*   | 赞 +1 [17]邱世崇   2013-12-5 22:16
周老师你好,利用大数据怎样进行预测呢?你有没有相关资料或推荐的资料呢?谢谢 O(∩_∩)O~
IP: 124.16.139.*   | 赞 +1 [16]aprilcs   2013-4-19 16:36
嗯。受教了。谢谢周老师~
IP: 207.46.92.*   | 赞 +1 [15]周涛   2013-4-19 12:07
有点意思,但是说的不够清晰。IBM发布会的时候我做了Lecture,但是有一个问题,IBM这套是给大B看的(政府、运营商、国家电网),不代表真正独立思考的结果,有太多商业目的。
IP: 124.16.139.*   | 赞 +1 [14]aprilcs   2013-4-18 16:55
周老师,您所说的“全息可见”具体是指?另外,IBM新定义的4V模型中的Veracity: Data uncertainty. Veracity refers to the level of reliability associated with certain types of data,是不是和您所说的“交叉复用”有所相似?数据的不确定性,也就是说数据可以有多种用途?
回复  有点意思,但是说的不够清晰。IBM发布会的时候我做了Lecture,但是有一个问题,IBM这套是给大B看的(政府、运营商、国家电网),不代表真正独立思考的结果,有太多商业目的。
2013-4-19 12:081 楼(回复楼主) 赞 +1 |
IP: 118.186.82.*   | 赞 +1 [13]张千明   2012-10-11 20:07
时隔一个月,再回来看,越发觉得霸气!
回复  必须的!
2012-10-11 22:151 楼(回复楼主) 赞 +1 |
IP: 115.24.240.*   | 赞 +1 [12]杨正瓴   2012-8-31 12:58
  
IP: 222.35.186.*   | 赞 +1 [11]蒋忠元   2012-8-30 08:43
赞,好文!!!
回复  谢谢!
2012-8-30 14:571 楼(回复楼主) 赞 +1 |
IP: 220.233.33.*   | 赞 +1 [10]邸利会   2012-8-30 08:01
涛哥有空可以试试啊---
回复  这方面我水平不够~~
2012-8-30 14:571 楼(回复楼主) 赞 +1 |
IP: 119.255.44.*   | 赞 +1 [9]肖永红   2012-8-28 13:21
特别赞这个“一般研究人员和开发人员可以自如获取数据的逻辑片段并进行分析处理”,想想我们一直用4个V形容大数据,有点情何以堪啊
回复  这都是我意淫的梦想!
2012-8-29 16:421 楼(回复楼主) 赞 +1 |
IP: 221.12.10.*   | 赞 +1 [8]张洁   2012-8-20 09:05
涛哥只是太丰富了,学习了~
回复  :)
2012-8-20 10:261 楼(回复楼主) 赞 +1 |
IP: 14.200.35.*   | 赞 +1 [7]邸利会   2012-8-19 15:23
好文!facebook在这方面很领先http://blog.sciencenet.cn/home.php?mod=space&uid=91355&do=blog&id=587561
回复  如果有人专门就Facebook的研究写一篇综述,或者一本书,肯定很有趣~~
2012-8-29 16:431 楼(回复楼主) 赞 +1 |
IP: 61.135.152.*   | 赞 +1 [6]smallstaryu   2012-8-19 11:46
学习一下。
回复  不敢当~`
2012-8-19 14:201 楼(回复楼主) 赞 +1 |
IP: 125.71.229.*   | 赞 +1 [5]范深   2012-8-18 21:58
做“大数据”的人必须有极宽泛的Domain Knowledge啊~什么经济、城市、电力、气象,甚至是宇宙万千一切可以统计的东西都有可能产生价值。
回复  需要科学和商业上的敏感~~
2012-8-19 09:411 楼(回复楼主) 赞 +1 |
IP: 121.22.29.*   | 赞 +1 [4]唐朝生   2012-8-18 11:53
很受启发,感谢周老师分享!
回复  不敢,谢谢
2012-8-18 14:321 楼(回复楼主) 赞 +1 |
IP: 158.132.150.*   | 赞 +1 [3]张海峰   2012-8-18 10:04
听小可说他也要搞大数据处理,帮祝老师他们搞。不知道和你的是否同一个范畴?
IP: 113.110.220.*   | 赞 +1 [2]郑维玮   2012-8-18 08:45
  
回复  :)
2012-8-18 09:301 楼(回复楼主) 赞 +1 |
IP: 113.110.220.*   | 赞 +1 [1]郑维玮   2012-8-18 08:45
  

1/1 | 总计:17 | 首页 | 上一页 | 下一页 | 末页 | 跳转

扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-3-18 21:34

Powered by ScienceNet.cn

Copyright © 2007-2025 中国科学报社

返回顶部