从集中到分散，从分散到集中（141013）

闵应骅

   在前面的博文中，我曾经多次谈到：计算机的发展，许多终端用一台大型机是一种集中式的计算；到了1980年代，PC机则完全采用分散的形式，这是从集中到分散。后来，网络大发展，给分散的计算提供了更好的条件，但是云计算的出现说明你可以在云计算中心的计算机上实现你自己的虚拟机，用不着各人自备计算机，浪费能量、浪费资源。这就是从分散到集中。这是不是三国里说的分久必合，合久必分的哲理呢？最近看到IEEE Spectrum 2014/10的文章谈P2P云（http://spectrum.ieee.org/computing/networks/escape-from-the-data-center-the-promise-of-peertopeer-cloud-computing），云控制中心、数据中心要用P2P了。这不又是往分散走吗？真有趣！

   不久前，大家希望互联网上的下一件大事是投资到计算硬件、网络连接和不动产给设备和技术人员，以确保24/7的服务。还没等到那一天，这些需求在云中几天、甚至几小时就可实现，几乎不需要硬件投资。因为云服务商可以动态分配资源。实际上，他们需要建造足球场那么大的昂贵的数据中心，这些只有巨型企业，像亚马逊、谷歌、微软才有。它们可以提供云计算环境。最低等的模型是基础设施作为服务，IaaS云，它们对用户提供一个或多个虚拟机，运行在云服务者的实际设备上。譬如一台实际的计算机可以模拟5台不同的虚拟机，每台租给不同的用户。每台虚拟机还可以运行不同的操作系统。高级的抽象是平台作为服务，PaaS云，可以开发在线应用，用户不需要管理虚拟机。也算高级的模型是软件作为服务，SaaS云。其用户完全不知道所用的基础设施和计算平台是在哪里，只用基于WEB的应用或一组应用去处理他们自己的业务。这是大家比较熟悉的云计算模式。它包括像Apple iWork, Gmail, Microsoft Office365等。

   云计算还有别的方式吗？意大利博洛尼亚大学正在研究新的云计算策略：P2P加文件分享，不需要巨大的集中设备，便于大众化云计算。大型数据中心虽有许多方便，但大量耗电，易出突发事件。大型数据中心对于所有者也许最好，对用户就不一定好。譬如政府规定限制不允许某些数据超越国界，一国的数据中心可能就不允许另一国的用户进入。集中化的云计算最严重的问题是容错和可靠性，一个设备出故障就是一个单点失效。冗余电源、备用电机、双套网络连接仍然不能抵御突发事件的发生。越来越多的云服务商用多个远程数据中心用快速的专用网络连接，既可避免局部灾难，又给用户提供更多选择。走到极端，如果我们放弃分布在互联网上几百万台计算机组成的云，而像各种P2P系统一样，大量的文件分享、内容分配、虚拟货币支付，只用部分可用的计算机，就可以称之为P2P云。若干计算机共同为某一个用户服务，而其他计算机可能在为另一个用户服务。要做到这一点并不易，但其优越性首先是带宽调制解调器、路由器、机顶盒、游戏机、笔记本、桌上PC，没有一样东西是被单一任务所有和控制的。只要你在自己的机器上置入一个客户软件，加入P2P云，你就不需要提出请求而得到批准。其次，P2P云的部件都很小，每个消耗很少电源，而且是分散的，局部灾难出不了大问题。散热问题当然就不要考虑了。当然，服务质量可能没有谷歌、亚马逊的好，但问题也不大。

   用大量松耦合的机器建造大型计算资源的想法并不新。早期的志愿者计算就是用自己的计算机给别人做计算。只要安装一个软件就可以在自己没有高优先级任务时为别人服务。伯克利网络计算开放基础设施（BOINC）就是一个流行的志愿者计算系统，例如SETI@home分析空间中天外来客传输搜索；Rosetta@home计算蛋白质折叠，Einstein@home诊察引力波。另一种类型的志愿者计算是台式机网格，它允许自己的PC机对网格计算做出贡献。BOINC用台式机网格支持了许多大学科学计算。

   志愿者计算的成功表明P2P云是可行的。当然，这么多计算机加入，分布在不同地方，某些失效是难免的，各台计算机随时都可能开、关，也就是有“搅动”。所以，P2P云的第一个任务就是跟踪所有系统中的设备是否在线而且正常，并且动态分配这些资源给用户们。这个任务必须是完全分布式的，无视搅动。为此，许多P2P系统用基于流言（Gossip）的协议，当计算机连接着大量非结构化网络时，只和少量邻居交换信息。这种协议适用于P2P云，因为实现简单，在搅动情况下也能进行复杂的全局计算。博洛尼亚大学的P2P云系统（P2PCS）用分布式的基于流言的协议发现什么设备在工作、在连接，管理整个云的状态，划分资源给多个子云，动态分配资源和支持对所连接的计算机进行复杂的查询。除此之外，如果所连接的设备都是一家大公司的，即使它们放在不同人的家里，P2P云很容易建造。而如果P2P云是由不同的计算机、游戏机等其他东西组成的，用户必须相信它们没有一个有恶意，而设备提供者应该相信用户不会贪婪他的计算机时间。这事可就不好解决了。目前还没有办法在不可信的硬件设备上实现可信的计算。另一个问题是鼓励大家协作，阻止滥用。在一家公司内，这件事情比较好办。P2PCS的工作表明，用基于流言的协议可以处理资源的动态分配和系统的基本管理。欧盟的几个单位也在进行类似的研究。欧盟的纳米数据中心在研究怎样管理由不同互联网服务提供商控制的各类网关所组成的P2P网络。某些商业化的分布式存储也是基于P2P计算原理。譬如早期的Wuala云备用允许用户买卖他们的硬盘空间。也已经有开源的P2P系统做分布式文件存储或计算。

   我以为，像P2P云这样的研究有较强的创新性，而不是研究如何去填补大中心云计算模型中的某些个别问题。但是，话好说，想法也简单，真要实现、要做实验就不那么容易了，每一句话都意味着大量的工作。