浅谈大数据

周 涛

电子科技大学，互联网科学中心，成都 611731

1.什么叫大数据？

“大数据”是“数据化”趋势下的必然产物！数据化最核心的理念是：“一切都被记录，一切都被数字化”，它带来了两个重大的变化：一是数据量的爆炸性剧增，最近2年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和；二是数据来源的极大丰富，形成了多源异构的数据形态，其中非结构化数据所占比重逐年增大。牛津大学互联网研究所Mayer-Schonberger教授指出，“大数据”所代表的是当今社会所独有的一种新型的能力——以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见[1]。我认为，这种“前所未有的”巨大价值和深刻洞见，并不仅仅来自于单一数据集量上的变化，而是不同领域数据集之间深度的交叉关联,姑且称之为“跨域关联”。譬如微博上的内容和社交关系，Flickr上的图片共享，手机通讯关系，淘宝上的购物记录等数据通过同一个用户关联起来；又如移动手机定位的移动轨迹，车载GPS的移动数据，街旁上的签到数据，顺丰物流的递送数据通过同一个地点关联起来。跨域关联是数据量增大后从量变到质变的飞跃，是大数据巨大价值的基础。

大数据会给整个社会带来从生活到思维上革命性的变化：企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化；人们所接受的服务，将以数字化和个性化的方式呈现，借助3D打印技术和生物基因工程，零售业和医疗业亦将实现数字化和个性化的服务；以小规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理学等，将会向大规模定量化数据分析转型；将会出现数据运营商和数据市场，以数据和数据产品为对象，通过加工和交易数据获取商业价值；人类将在哲学层面上重新思考诸如“物质和信息谁更基础”“生命的本质是什么”“生命存在的最终形态是什么”等本体论问题……综上，大数据不是数据量的简单刻画，也不是特定算法、技术或商业模式上的发展，而是从数据量、数据形态和数据分析处理方式，到理念和形态上重大变革的总和——大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。

2.大数据的战略地位

大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命相媲美。与提升国家竞争力及国民幸福程度密切相关的重大战略都与大数据的分析和利用息息相关，包括与国家安全社会稳定相关的尖端武器制造与性能模拟实验，群体事件和谣言的预警和干预；与国家科技能力相关的等离子即高能粒子实验分析，纳米材料及生物基因工程；与国民经济繁荣相关的经济金融态势感知与失稳预测，精准营销与智能物流仓储；与环境问题相关的全球气候及生态系统的分析，局部天气及空气质量预测；与医疗卫生相关的个性化健康监护及医疗方案，大规模流行病趋势预测和防控策略；与人民幸福生活相关的个性化保险理财方案，智能交通系统等等。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力。

2012年3月29日，美国政府宣布了“大数据研究和发展倡议”，来推进从大量的、复杂的数据集合中获取知识和洞见的能力。该倡议涉及联邦政府的6个部门（国家科学基金委、国家卫生研究院、能源部、国防部、国防部高级研究计划局和地质勘探局）。这些部门将投资总共超过两亿美元，来大力推动和改善与大数据相关的收集、组织和分析工具及技术。2012年5月，我国召开第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议。中国计算机学会、通信学会等于2012年分别成立了“大数据专家委员会”。2012年9月13日，北京航空航天大学联合英国爱丁堡大学、英国利兹大学、香港科技大学、美国宾夕法尼亚大学、美国亚利桑那州立大学、加拿大渥太华大学等共同组建大数据科学与工程国际研究中心。2012年12月13日，在“中关村大数据日”活动会上，由宽带资本、百度、用友、中国联通、联想集团、北京大学、北京航空航天大学、阿里巴巴、腾讯等企业、高校共同发起成立了大数据产业联盟，并在中关村云基地揭牌成立大数据实验室，该实验室以大数据产业孵化基金形态成立，致力于推动学术界大数据创新科技成果产业化以及为相关产业引导注入大数据科技元素。自然科学基金委于2013年3月5日至7日，在上海同济大学举办了第89届“双清”论坛，论坛的主题是“大数据技术与应用中的挑战性科学问题”，与会的有近十名院士。

3.大数据商业革命

传统的商务智能已经应用了数据仓库和数据挖掘的技术，对企业自身的数据进行存储、清洗、索引和分析，并能够提供包括客户价值评价、客户满意度评价、服务质量评价、营销效果评价、市场需求评估等各种基于简单统计和关联挖掘的报表——这些统计结果对于企业自身评估和决策起到了重要的作用。在商务智能时代积累起来的和数据打交道的经验既是大数据新商业模式技术和理念的基础，又有可能束缚大数据商业革命，因为有经验的商务智能人士会不自觉地把大数据分析庸俗化，认为只是传统商务智能针对更大规模数据集的一种平凡推广。

大数据商业模式也可以粗略地分为1.0版本，2.0版本和3.0版本。大数据1.0是指企业自身的产品和服务产生了大量的数据，通过对这些数据进行深入的挖掘分析，改进自身业务，改进后的业务吸引更多用户或客户，产生更大量的数据，形成正向的循环。亚马逊是一个典型的例子，他们利用以“基于商品的协同过滤”为主要代表的一系列推荐算法[2]，帮助用户找到他们可能喜欢的商品。这种精准的个性化服务的背后，是非常复杂的算法和实时大数据处理能力[3]。亚马逊的算法大大提高了用户的黏度和企业的销售额，从而产生了更多有价值的数据，这些数据又帮助亚马逊做得更好。

大数据的2.0是指企业用自身业务产生的数据，去解决主营业务以外的其他问题，获得重大的价值；或者引入非企业自身业务的外部数据，来解决企业自己遇到的问题。大数据2.0强调的是数据的外部性。Google曾利用网页搜索词的记录，来预测流感爆发后随时间变化的新增病例数[4]。显然，预测流感趋势这一需求并不包含在记录网页搜索词的初衷中。ZestFinance有一个口号，就是一切数据都是信用数据，实际上，他们大量采集用户在社会媒体上留下的数据，从这些数据中对用户的信用进行判断，特别地，预测用户拖延还贷的概率。ZestFinance通过这种分析，能够在低于行业平均拖延还贷率的条件下，进行更快更低成本的贷款发放。显然，用户在社交媒体上产生的数据，并不是ZestFinance自身业务产生的，但是一样可以服务于它的业务。

大数据3.0是一个尚在探索中的商业形态。它首先要求政府和行业，对数据质量、价值、权益、隐私、安全等产生充分认识，出台量化与保障措施。在此基础上，数据运营商出现，形成了以加工粗数据和已有数据产品，产生新的数据产品的数据客（Dacker）。个人、团队和企业通过数据API接口或其他方式付费使用数据产品，数据客、运营商和被加工原料所有者共同分享数据产品的利益。数据市场也可能应运而生，数据和数据产品有可能象今天淘宝集市上的商品被售卖交换。于是，一种新的以数据/数据产品为输入，数据/数据产品为输出的新商业模式诞生，这种模式不同于2B(to business)和2C(to customer)的模式——譬如一款精确位置告知实时空气质量的API接口，既可能被企业和政府使用，也可能被个人使用。为了区分，我们称这种模式为2D（to data）的商业模式[5]。新商业模式的直接后果，就是促进学术团体、企业和政府通过大量异质数据和数据产品产生科学、社会、经济等方面的新价值。

^[1]维克托·迈尔-舍恩伯格，《大数据时代：生活、工作与思维的大变革》，浙江人民出版社，2012。

[2]G.Linden, B. Smith, J. York. Amazon.com recommendations: Item-to-itemcollaborative filtering, IEEE Internet Computing 7(1) (2003) 76-80.

^[3]苏萌，柏林森，周涛，《个性化：商业的未来》，机械工业出版社，2012。

^[4]J. Ginsberg, M. H. Mohebbi, R. S. Patel, L. Brammer,M. S. Smolinski, L. Brilliant, Detecting influenza epidemics using searchengine query data, Nature 457 (2009) 1012.

[5]苏萌，周涛，“大数据商业革命”，哈佛商业评论——达沃斯专刊，2012。