（本文是“浅谈大数据”一文的扩充版本）

成为大数据企业

1.什么叫大数据？

“大数据”是“数据化”趋势下的必然产物！数据化最核心的理念是：“一切都被记录，一切都被数字化”。最近2年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和，更重要的是，数据来源极大丰富，形成了多源异构的数据形态，其中非结构化数据所占比重逐年增大。牛津大学互联网研究所Mayer-Schonberger教授指出，“大数据”所代表的是当今社会所独有的一种新型的能力——以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见[1]。这种“前所未有的”巨大价值和深刻洞见，并不仅仅来自于单一数据集量上的变化，而是不同领域数据集之间深度的交叉关联,姑且称之为“跨域关联”。譬如微博上的内容和社交关系，Flickr上的图片共享，新闻资讯网络上的浏览记录，手机通讯关系，电子商务网站上的购物记录等数据通过同一个用户关联起来；又如移动手机定位的移动轨迹，车载GPS的移动数据，街旁上的签到数据，顺丰物流的递送数据，智慧城市的建筑信息档案等通过同一个地点关联起来。跨域关联是数据量增大后从量变到质变的飞跃，是大数据巨大价值的基础。

大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命相媲美。与提升国家竞争力及国民幸福程度密切相关的重大战略都与大数据的分析和利用息息相关，包括与国家安全社会稳定相关的尖端武器制造与性能模拟实验，群体事件和谣言的预警和干预；与国家科技能力相关的等离子即高能粒子实验分析，纳米材料及生物基因工程；与国民经济繁荣相关的经济金融态势感知与失稳预测，精准营销与智能物流仓储；与环境问题相关的全球气候及生态系统的分析，局部天气及空气质量预测；与医疗卫生相关的个性化健康监护及医疗方案，大规模流行病趋势预测和防控策略；与人民幸福生活相关的个性化保险理财方案，智能交通系统等等。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力。

   大数据会给整个社会带来从生活到思维上革命性的变化：企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化；人们所接受的服务，将以数字化和个性化的方式呈现，借助3D打印技术和生物基因工程，制造业和医疗业亦将实现数字化和个性化的服务；以小规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理学等，将会向大规模定量化数据分析转型；将会出现数据运营商和数据市场，以数据和数据产品为对象，通过加工和交易数据获取商业价值；人类将在哲学层面上重新思考诸如“物质和信息谁更基础”“生命的本质是什么”“生命存在的最终形态是什么”等本体论问题……综上，大数据不是数据量的简单刻画，也不是特定算法、技术或商业模式上的发展，而是从数据量、数据形态和数据分析处理方式，到理念和形态上重大变革的总和——大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。

2.大数据商业革命

传统的商务智能已经应用了数据仓库和数据挖掘的技术，对企业自身的数据进行存储、清洗、索引和分析，并能够提供包括客户价值评价、客户满意度评价、服务质量评价、营销效果评价、市场需求评估等各种基于简单统计和关联挖掘的报表——这些统计结果对于企业自身评估和决策起到了重要的作用。在商务智能时代积累起来的和数据打交道的经验既是大数据新商业模式技术和理念的基础，又有可能束缚大数据商业革命，因为有经验的商务智能人士会不自觉地把大数据分析庸俗化，认为只是传统商务智能针对更大规模数据集的一种平凡推广。

大数据商业模式也可以粗略地分为1.0版本，2.0版本和3.0版本。

大数据1.0是指企业自身的产品和服务产生了大量的数据，通过对这些数据进行深入的挖掘分析，改进自身业务，改进后的业务吸引更多用户或客户，产生更大量的数据，形成正向的循环。亚马逊是一个典型的例子，他们利用以“基于商品的协同过滤”为主要代表的一系列推荐算法[2]，帮助用户找到他们可能喜欢的商品。这种精准的个性化服务的背后，是非常复杂的算法和实时大数据处理能力[3]。亚马逊的算法大大提高了用户的黏度和企业的销售额，从而产生了更多有价值的数据，这些数据又帮助亚马逊把分析做得更深入，进一步提高销售量。大数据1.0追求从数据到分析，从分析到更多更好的数据，再到更深入分析这样的正向循环。

大数据的2.0是指企业用自身业务产生的数据，去解决主营业务以外的其他问题，获得重大的价值；或者引入非企业自身业务的外部数据，来解决企业自己遇到的问题。大数据2.0强调的是数据的外部性。Google曾利用网页搜索词的记录，来预测流感爆发后随时间变化的新增病例数[4]。显然，预测流感趋势这一需求并不包含在记录网页搜索词的初衷中。ZestFinance有一个口号，就是一切数据都是信用数据，实际上，他们大量采集用户在社会媒体上留下的数据，从这些数据中对用户的信用进行判断，特别地，预测用户拖延还贷的概率。ZestFinance通过这种分析，能够在低于行业平均拖延还贷率的条件下，进行更快更低成本的贷款发放。显然，用户在社交媒体上产生的数据，并不是ZestFinance自身产生的，但是一样可以服务于ZestFinance的业务。

大数据3.0是一个尚在探索中的商业形态。它首先要求政府和行业，对数据质量、价值、权益、隐私、安全等产生充分认识，出台量化与保障措施。在此基础上，数据运营商出现，提供集成数据和存储、计算的平台。在此基础上，形成了以加工粗数据和已有数据产品，产生新的数据产品为主要活动的数据客（Dacker）。个人、团队和企业通过数据API接口或其他方式付费使用数据产品，数据客、运营商和被加工原料所有者共同分享数据产品的利益。数据市场也可能应运而生，数据和数据产品有可能象今天淘宝集市上的商品被售卖交换。于是，一种新的以数据/数据产品为输入，数据/数据产品为输出的新商业模式诞生，这种模式不同于2B(to business)和2C(to customer)的模式——譬如一款精确位置告知实时空气质量的API接口，既可能被企业和政府使用，也可能被个人使用。为了区分，我们称这种模式为2D（to data）的商业模式[5]。新商业模式的直接后果，就是促进学术团体、企业和政府通过大量异质数据和数据产品产生科学、社会、经济等方面的新价值。

3.成为大数据企业

什么样的企业是大数据企业？恐怕没有人能够给出一个完美的答案。但是，直观地，我们可能觉得Google更像是一个大数据的企业，Amazon也像是一个大数据的企业，而中国银行似乎不太像一个大数据的企业，尽管它每天也一样浸泡在海量的数据中。除了具有处理大量数据的能力外，之所以Google和Amazon更像大数据的企业，是因为他们有深入的数据分析工具，利用数据分析的结果直接指导决策，而且经常推出基于数据分析的创新型应用。遗憾的是，并没有一条放之四海皆准的通往大数据企业的康庄大道，更没有点石成金之术可以让一个企业Google化。本文仅仅从四个方面提出一些可以看得见摸得着的建议，藏在这些建议背后的大数据理念，或许更加重要。

第一，企业的一切生产经营流程都需要数据化——这是企业能够通过深入数据分析，实现自身优化的基础。举个典型的例子，长虹在自己的生产线上，通过大量传感器，记录生产环境的温度、湿度、粉尘等等，通过这些量化指标与产品质量的关联分析，得到影响产品优品率和良品率的关键因素，从而通过环境因素控制，明显提高了产品的优品率。有的读者可能会说，生产流程容易量化，那么拜访一个客户，提供一种服务，难道也能量化吗？实际上，数据化不等于量化，更不仅仅局限于结构化量表，就此，思创银联提供了一个很巧妙的解决方案。通过一个名为“亦群”的产品，思创银联的员工将每天的工作内容通过类似于博客和论坛的系统，分享给所有其他员工——这种分享完全不同于OA任务流，而是一种带有社交附加价值的主动记录。通过评论和关注，企业形成了一种在层次管理结构之外的扁平化社交结构。更为重要的是，企业处理问题的相关流程、文件、讨论都保留了下来，从而帮助企业管理者进行考核，也帮助企业员工通过基于关联用户和文本智能匹配进行搜索，快速找到对自己现有业务和客户有参考价值的案例和文件。

第二，企业需要建立基于海量数据的深入分析能力。在大数据时代，数据分析能力的强弱，类似于工业时代制造工艺的先进与否。真正的大数据企业，都具有行业领先的数据分析能力。百分点是一个典型的以数据分析能力见长的大数据企业。它提供非常多样的服务，但是绝大部分服务所要解决的核心问题，都是基于用户浏览、收藏、购买等记录，实时向用户推荐感兴趣的东西——这些东西可以是网购商品也可以是新闻资讯，可以是个性化广告也可以是股票及理财产品。为了对一个用户进行实时的商品推荐，百分点首先要根据这个用户历史浏览消费的习惯和最近几次浏览的记录，预测用户的意图——是有明确的购买意向，还是随便逛逛？根据用户的意图，百分点自动在数十种推荐算法中进行精选，返回推荐结果候选集合。推荐的结果，还要根据商家的偏好以及用户地理位置、价格敏感度等等信息，进行再一次的过滤……每一个简单的推荐展示，都是在数十种算法和复杂的分析规则中通过残酷竞争才得以脱颖而出的[6]。大数据企业，需要有意识储备数据挖掘、机器学习方面的人才和技术，能够高效率完成分类、聚类、预测、推荐等较复杂的数据分析工作。

第三，企业要制定战略数据储备计划。数据就像石油，而且是放在聚宝盆中取用不竭的石油——如果它被存储下来了。具有战略眼光的企业，能够判断数据未来的价值，在当前看不到数据的直接用途，或者只有低价值用途的时候，愿意花成本存储一些潜藏巨大价值的数据。雅昌是一个以复印艺术品为主要业务的企业，它敏锐地感觉到“哪些艺术家的哪些艺术品被复印了多少次……”这类数据是有价值的，于是从几十年前光盘还很贵的时候，就花大力气把这些数据存下来了。现在雅昌的指数，是艺术品拍卖中最具影响力的指数之一，雅昌艺术网已经成为了中国第一的艺术门户网站。存储和自身业务有关的数据，仅仅是企业战略数据储备计划的第一步，更进一步地，企业还应该存储对自身业务有帮助的外部数据，例如论坛和专业门户网站的内容可以反映产品的口碑，微博微信的数据可以反映潜在用户的兴趣，等等。这些数据往往对很多业务都能够产生价值，如果没有完整的存储更新计划，临渴掘井的结果只能是“数到用时方恨少”。

第四，企业要以包容的心态开放数据，拥抱数据创新。伟大的企业懂得如何把最聪明的人集合起来，为自己服务。企业有了大量数据和一定的分析能力后，不能固步自封，而要充分借助社会的力量，尽最大可能发挥数据潜藏的价值。Netflix曾经公开了包含50多万用户和17770部电影的在线评分数据，并悬赏100万美元奖励能够将Netflix现有评分预测准确度提高10%的团队[7]。类似的竞赛在Kaggle数据挖掘竞赛平台上屡见不鲜。中国互联网信息中心曾联合数据堂推出了首届中国互联网数据平台数据挖掘比赛，该比赛不局限于具体的算法，而是要求选手利用给定的若干数据集，设计创新型商业应用。企业通过这些数据开放计划，学习最先进的算法和最具创新性的数据应用产品，实现自身数据的价值最大化。

^[1]维克托·迈尔-舍恩伯格，《大数据时代：生活、工作与思维的大变革》，浙江人民出版社，2012。

[2]G.Linden, B. Smith, J. York. Amazon.com recommendations: Item-to-item collaborativefiltering, IEEE Internet Computing 7(1) (2003) 76-80.

^[3]苏萌，柏林森，周涛，《个性化：商业的未来》，机械工业出版社，2012。

^[4]J. Ginsberg, M. H. Mohebbi, R. S. Patel, L. Brammer,M. S. Smolinski, L. Brilliant, Detecting influenza epidemics using searchengine query data, Nature 457 (2009) 1012.

[5]苏萌，周涛，“大数据商业革命”，哈佛商业评论——达沃斯专刊，2012。

[6]龚亮，刘译璟，郭志金，“场景引擎：下一代推荐系统的核心模块”，中国计算机学会通讯，2013年第3期。

[7] J. Bennett, S. Lanning. The Netflix Prize, Proceedings of KDD cupand workshop, ACM Press, p. 35, 2007.