以小见大找科研----计算摄影（140217）

闵应骅

   我们国家的科研项目，以大见长。譬如物联网、大数据、云计算、SOC，等等，无不是大项目。问题大，投资多，牵涉的研究人员也多。这种高屋建瓴的大项目给研究人员，尤其是年青的研究人员一种习惯，开口就是大问题、大方向，发论文就是综述。少有深入一点，真正创新。其实，小中有大，也许意义很大，也许用处很大。本月CACM有篇文章，介绍计算摄影（computational photography），本人看了，很有启发，在此分享。

   摄影这事体不大，许多人的业余爱好而已。近年来，数字摄影有重大进展。咔嚓一声不再是照片的出发点。因为摄影师可以在照相机里面改变图像，而且可以用照片编辑软件改变样式、感觉和作品。现在还可以设计不同的照相机、开发不同的算法、用新型的传感器和系统，去做过去照相机做不到的事情。记录更多情景信息，使用强大的图像增强技术，从而产生了计算摄影新领域。

   这些带有高级软件的相机急剧改变着人们观察和使用图像的方法。譬如人们可以检测视野里的微小对象和不易觉察的运动。他们可以在照片照完以后改变视角或者角度，或者提供360度的全景照片。他们可以在照片照完以后增强现实，重新聚焦于某些对象。智能手机上的照相机更是把摄影和传感器与强大的在线计算能力结合了起来。特定的APP或云服务将用新的迷人的途径扩张摄影的概念。数字照相机彻底改造了摄影术，从胶片到像素创造了处理和分享照片的新方法。麻省理工学院教授Frédo Durand说，计算相机可以同时照多个照片，去补偿各种曝光的问题，也可以取消闪光。因为闪光常常损害图像色调。如果多次照相，有闪光的，不闪光的，组合起来，色调就会好很多。类似地，聚焦也一样，譬如照埃菲尔铁塔或自由女神像，和一个人，距离这么远，都要清楚就很难，照两次再组合起来就会比较好。光场相机使用户可以在照完以后重新聚焦和调整亮度。一个传感器能在不同的像素点上获取不同的亮度，从而产生完全新型的照片，包括不同亮度和色彩范围的图像。

   计算摄影也导致照相机设计的变化，包括照相机主体、镜头和光学器件。智能手机上的镜头必须很小又便宜。摄影师也许需要多个镜头同时拍，以获取3-D效果，而且要防抖动，特别是在弱光或高速环境下。

   除了普通用户需求之外，还有许多工业界的需求，譬如医疗、制造、交通和安全。斯坦福教授Marc Levoy（他现在告假斯坦福，去做谷歌眼镜）说，计算摄影希望能透过人群、对象，看清事物，能够一次聚集一堆东西。这将有利于生物学和显微镜检查。技术人员可以看到细胞培养物的图像，而不用显微镜，聚焦可以在拍完照以后进行。计算相机可以自动计算图像中的细胞数，而且比人更快、更准确地提供信息。目前，高档的计算相机系统是谷歌眼镜。他们还在开发地图数据、语言翻译、旅游信息、和跟踪健康、锻炼数据和身体信息的APP。

   为计算摄影做设备、搞算法不是一件容易的事情，特别是还要把它应用于天文学、医学摄影和汽车摄影。完全有可能，与环境传感器合作，在可见光谱之外获取图像，或者用算法检测环境微小而重要的变化。新型照相机和算法可以产生3-D图像，揭露光学不可见的事物。譬如，MIT的教授已经可以用算法通过人脸感知其血液的流动，根据细微的头脑移动检测其心动。这牵涉到所谓运动放大技术，它可以检测桥梁、建筑的薄弱环节。它放大脉冲信号和色差。这些信号人眼看不到，但计算化的图像和慢动作分析可以揭露出来。这些功能预示着计算摄影在国防上的应用。

   实现这些技术最大的困难在于开发算法，分类所有数据，并且用上它。不管大的传感器未来可以捕捉多少数据，图像中的像素会越来越多。多少百万像素意味着更小尺寸的像素增多，当一个像素中曝光时间内光量子数很少的时候，大量的噪声就会产生。去噪就成为任何图像和传感装置最大的挑战。最后的结果就决定于噪声去除做得怎么样。

   另一个挑战是有效运行在小装置上。譬如相机、智能手机和平板电脑上的健壮的算法。问题常常不在于该算法是否正确，而在于该算法能否影射计算到硬件上。优化的编码可以用上现代硬件的优越性，包括移动处理器，做到这一点非常困难。编译器能否用上这些优越性，以提高性能是关键。

现在研究人员都在搞大数据，也许需要考察和分析已有照片，使他们去建造算法进行复杂的图像处理。但是，如果你想从一个照片中去掉一个人或对象，现在没有简单的办法，即使是用复杂的照片编辑软件也很不容易。用百万张照片，和机器学习算法，也许有可能。这种瞬间处理和编辑工具将在近期出现。从芯片设计到镜头和相机设计都将有重大变化。计算摄影不论它用在DNA排序，或者改进高速公路即时摄像或安全工具，都会以新的更好的方式使用数据。

当我们浮在空中看科研，总觉得雾蒙蒙的一大片，而当你深入下去，并深入到一定深度，你会发现万里晴空，又是一片天地。