大数据 与 马航MH370---大数据杂谈之一（唐常杰）

     一位经常看报但不会上网的离休长辈要我解释大数据技术，这位九旬老人还要求，用“咱们老百姓”能懂的大白话。

    不成功的科普尝试  笔者首先想起了一篇现成的博文《假日聚会，戏说云物人海》，那篇博文曾在一次聚会上对8-83岁的的朋友作试验性解释，收到了深者见深，浅者见浅的效果。

    于是，给老人先讲了云（计算）、物（联网），以及人（社会网络），再解释“云”如何为大数据准备了的支撑，而“物”和“人”为何既是数据消费者，也是数据的生产者，当十亿级的人和百亿级的传感器为大数据增砖添瓦时，大数据时代就到来了。还说了大数据有四大特点，即：大（数据量大）、 多（数据类型多）、 快（要求处理快）、 值(价值大而密度低)。

    茫茫然，这位九旬老人摇摇头：“什么是价值大而密度低，是不是有点矛盾？”。

    这次科普失败的原因是对象定位不准，先没有注意到，老人脑中并没有关于“云--物--人”的基础性知识框架，用计算机科学的行话，脑中没有相关的“本体”（ ontology）。

    借用马航MH370的常识 注意到老人天天看报，对马航MH370失联客机(也许，不久会改称为失事客机）的报道消息比较清楚，几十天来，老人为乘客惋惜，为乘客家属担忧，也因马航的不确切消息而愤怒，还为在前方搜寻的战士祝福.......

     关于马航MH370的报道已经在老人脑中形成了一个由相关概念和常识组成的语义网络，用行话描述，已建立了“本体”（可比喻为“说文解字”），观察到这一点，于是用大白话解释：大数据处理就是大海里捞黑盒子，就是大海捞针。

    大数据的四大特点也迎刃而解：海洋之大，对应于“数据量大”；关注目标多（一切与MH370相关的，飞机残片，旅客物件，甚至生活垃圾等）对应于“数据类型多”；黑匣子快没电了，对应于“要求处理快”； 茫茫大海中，只有两个黑匣子，而且至关重要，此外还有无关漂浮物形成的“噪音”（如近期发现的篮球垃圾桶之类），这些对应于“价值大而密度低”。

   大海捞黑匣子，需要要大致知道“黑匣子”的大致方位。前些天，马航提供的不确切消息，似有忽悠的味道，可能已使人们南辕北辙，在北方大陆通道上用了太多的冤枉力；这也解释了大数据处理的一个关键技术--智能地约简大数据，要求约简而不失数据核心。最近，马航把搜寻地点“约简”到相当于湖南省面积的大小，还需要以后的实践来检验，是不是包含了那个“核心数据集”。

    巧得很，今天搜寻失联客机，还不是大数据技术， 但却能用它来比喻大数据技术；暗示着冥冥中它与大数据有缘。

    老人点头表示明白了，虽然这只是浅者见浅，让老人有了一个好感觉，我感到了作科普的喜悦。

    快out的黑匣子，小数据技术，小家子方法  现在民航中采用黑匣子保存飞行数据，是上个世纪的方法，从理念到技术都落后了。客观上是因为上个世纪既没有相关基础研究、也没有应用研究，财力也不够大，条件不具备之下，无奈中采用了“啄木鸟自带板凳”式的黑盒子，本质上是小数据技术。

   前几天，邻居家的中学生问，为什么飞机上用黑匣子而不用云盘？看，云计算时代的中学生，用过百度云,用过微软的OneDrive,用了苹果的iCloud,也用了金山网盘，见识过360手机卫士的云备份和（失联）手机找回功能，朴素而又自然地就会想到云存储，在这位云计算时代的中学生看来，黑匣子实在是小家子方法。    

   科技人员探索并实践着云匣子技术。专家们早就在研究和实践 “地面黑匣子”或“云匣子了”。在军事上早有应用；带摄像机的侦查炮弹，或无人侦察机，到敌方阵地上冒着枪林弹雨，一面拍照侦听，一面把多种传感器收集的音、像、电磁、红外数据发回基地，无人机的命运已经是九死一生，侦查炮弹更是义无反顾地拥抱死亡，当它们牺牲时，发出最后的灿烂，实现了机与弹的生命价值，无怨无悔。

   也许，局部战争中，上述处理还只能算小数据技术， 民航机数量大，自然需要大数据处理技术了。

    四川大学的一项获奖成果 在川大智胜的产品网页上，查到一款 MDSL多通道数字同步记录仪（点击这里展开，可知与时俱进到2012年9月的技术参数），此产品在2003年就获得了国家科技进步二等奖（下图）。网页中的前几行如下：

    MDSL多通道数字同步记录仪是新一代雷达、地空通话、席位景象的同步实时压缩记录设备，能够24小时不间断同步记录上百个通道的无线或有线语音通话、数十个通道的雷达数据，还可记录各个席位显示画面景象，并能够方便快捷地检索和同步回放。目前，该产品在国内军民航机场、空管中心、航空公司推广300余台套，市场占有率超过50%，逐步替代进口产品。在近年多次空难事故调查分析中发挥了重要作用 ；

   这个设备放在机场，一对多地管理若干 军、民航飞机，体积有点大，但它管得多。

   笔者不是项目组成员，但作为川大计算机学院的一员，当然为其感到高兴和自豪。记得项目带头人游志胜教授给我们讲述研发过程时，还讲过某个涉外的飞机失事事件，这套设备牛刀初试，就立了一功，记录了飞行数据，为涉外的事故处理提供了数据和支撑。以前，MDSL被朴素地称为“地面黑匣子”，现在时髦一点，可能要改称为“云匣子”了；该网页中还有许多详细的描述，不在此列出 。（请知情朋友补充纠正）。

   假如马航装备了地面黑匣子MDSL  上段引用的网页中说到，MDSL产品在国内军民航机场、空管中心、航空公司推广300余台套，市场占有率超过50%，逐步替代进口产品。    

   可惜马航没有装备这个产品（或 类似产品），可能有下列原因：

   (1)马来西亚现在还是英联邦成员，马航和英国航空工业界有千丝万缕的联系，不知是因崇英而“从”英，还是因“从”英而崇英，英国的航空产品和技术常是其首选；

  （2）大陆国家和海洋国家有区别，对产品有特殊要求；

  （3）缺钱；

  （4）中国产品的宣传不到位；酒好也怕巷子深；

  （5）国家关系和高端技术出口，需要交流或谈判，记得有一首歌唱道“爱情不是你想买,想买就能买”，把其中的“爱情”换为“高端技术”，或许能解释这一场景。

   如果马航装备了MDSL，也许今天搜寻MH370就没有样困难。但历史没有“如果”，“向使当初身便死，一生真伪复谁知？”，那只存在于科幻的并行宇宙中或穿越小说中。

相关博文

 大数据 与 马航MH370-大数据杂谈之一

  鸡叫与天亮：大数据中的关联与因果—大数据杂谈之二

 网上流行云计算 --云计算漫谈之一
 天边飘来几朵计算的云 ---云计算漫谈之二

 假日聚会，戏说云物人海

     其它系列博文的入口     唐常杰博客主页        学博客主页