研究人员将相机缩小到一粒盐的大小

诸平

Fig.1 Researchers at Princeton University and the University of Washington have developed an ultracompact camera the size of a coarse grain of salt. The system relies on a technology called a metasurface, which is studded with 1.6 million cylindrical posts and can be produced much like a computer chip. Credit: Princeton University

Fig. 2 Previous micro-sized cameras (left) captured fuzzy, distorted images with limited fields of view. A new system called neural nano-optics (right) can produce crisp, full-color images on par with a conventional compound camera lens. Credit: Princeton University 

据美国普林斯顿大学（Princeton University）2021年11月29日提供的消息，普林斯顿大学和华盛顿大学（University of Washington）的研究人员合作已经开发出一种粗盐粒大小的超小型化照相机（Researchers shrink camera to the size of a salt grain）。该系统依赖于一种被称为超颖表面（metasurface）的技术，这种技术由160万个圆柱形柱组成，可以像计算机芯片一样生产。

微型相机（Micro-sized cameras）在发现人体问题和实现超小型机器人传感方面有很大潜力，但过去的方法在有限的视野下捕捉模糊、扭曲的图像。现在，普林斯顿大学(Princeton University)和华盛顿大学(University of Washington)的研究人员利用一种粗盐粒大小的超小型相机克服了这些障碍。相关研究结果于2021年11月29日已经在《自然通讯》(Nature Communications)杂志网站发表——Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek, Arka Majumdar, Felix Heide. Neural nano-optics for high-quality thin lens imaging. Nature Communications, 2021, 12, Article number: 6493. DOI: 10.1038/s41467-021-26443-0. Published: 29 November 2021. https://doi.org/10.1038/s41467-021-26443-0

研究人员在这篇论文中称，新系统可以产生清晰、全彩的图像（full-color images），其体积是传统复合相机镜头（compound camera lens）的50万倍。

通过相机硬件和计算处理的联合设计，该系统可以实现医疗机器人的微创内镜诊断和治疗疾病，并改善其他机器人的成像尺寸和重量的限制。数千个这样的相机阵列可以用于全场景传感，将表面变成相机。

传统的相机使用一系列弯曲的玻璃或塑料透镜将光线弯曲成焦点，而新的光学系统依赖于一种被称为超颖表面的技术，这种技术可以像计算机芯片一样产生。这个超颖表面只有半毫米宽，布满了160万个圆柱形柱（cylindrical posts），每个柱的大小与人类免疫缺陷病毒(human immunodeficiency virus简称HIV)差不多。

每个柱子都有独特的几何形状，其功能就像光学天线。为了正确地塑造整个光波前的形状，必须改变每个柱体的设计。在基于机器学习的算法的帮助下，柱子与光线的交互结合，为迄今开发的全彩超颖表面相机产生了最高质量的图像和最宽的视野。

相机创造的一个关键创新是光学表面和产生图像的信号处理算法的集成设计。该研究的通讯作者、普林斯顿大学计算机科学助理教授费利克斯·海德（Felix Heide）说，这提高了相机在自然光条件下的性能，而以前的超颖表面相机需要实验室的纯激光或其他理想条件才能产生高质量的图像。

研究人员将他们的系统产生的图像与之前的超颖表面相机的结果进行了比较，还将传统的复合光学相机使用6个折射透镜拍摄的图像进行了比较。除了镜框边缘有一点模糊外，这种纳米相机拍摄的照片与体积是传统相机50多万倍的镜头拍摄的照片不相上下。

其他超紧凑超颖表面透镜的图像畸变严重、视场小、捕捉全光谱可见光(即RGB成像)的能力有限，因为它结合了红、绿、蓝来产生不同的色调。

该项研究的负责人之一、普林斯顿大学计算机科学博士生伊桑·曾森(Ethan Tseng)说：“设计和配置这些微小的微结构来做你想做的事，这是一个挑战。对于捕捉大视场RGB图像的特定任务，这是具有挑战性的，因为有数百万这样的微型结构，我们不清楚如何以最佳方式对其进行设计。”

联合首席作者Shane Colburn通过创建一个计算模拟器,来自动测试不同的纳米天线配置以解决这个挑战。由于天线的数量和它们与光交互的复杂性，这种类型的模拟可以使用“大量的内存和时间，”谢恩·科尔本（Shane Colburn）说。他开发了一个模型，以有效近似超颖表面的图像生产能力，并具有足够的精度。

Shane Colburn作为华盛顿大学电气与计算机工程系（University of Washington Department of Electrical & Computer Engineering简称UW ECE）的博士生，他参与并领导进行这项研究，他现在是助理教授。他还在西雅图（Seattle）的Tunoptix公司指导系统设计，该公司正在将超颖表面成像技术商业化。Tunoptix是由谢恩·科尔本的研究生指导老师阿尔卡·马宗达（Arka Majumdar）共同创立的，阿尔卡·马宗达是华盛顿大学电气与计算机工程系和物理系的副教授，也是这项研究的共同作者。

共同作者詹姆斯·怀特黑德（James Whitehead）是UW ECE的博士生，他基于氮化硅（silicon nitride）制造了超颖表面，氮化硅是一种类似玻璃的材料，与用于计算机芯片的标准半导体制造方法兼容，这意味着给定的超颖表面设计可以很容易地以低于传统相机镜头的成本进行大规模生产。

Mait-Optik顾问、前高级研究员、美国陆军研究实验室（U.S. Army Research Laboratory）首席科学家约瑟夫·迈特（Joseph Mait）说：“虽然光学设计方法并不新鲜,这是首例系统在前端使用表面光学技术和在后端是基于神经的处理。”

“这项工作的意义在于完成了一项艰巨的任务，即联合设计超颖表面上百万个特征的大小、形状和位置，以及检测后处理的参数，以实现预期的成像性能，”没有参与这项研究的约瑟夫·迈特补充说。

费利克斯·海德和他的同事们现在正致力于为相机本身增加更多的计算能力。除了优化图像质量，他们还希望增加目标检测和其他与医学和机器人相关的传感模式的功能。

费利克斯·海德还设想使用超小型成像仪来创造“传感器表面（surfaces as sensors）”。他说：“我们可以把单个表面变成超高分辨率的摄像头，这样你就不再需要在你的手机背面安装三个摄像头，但你的整个手机背面将成为一个巨大的摄像头。我们可以在未来想出完全不同的方法来制造设备。”

上述介绍，仅供参考。欲了解更多信息，敬请注意浏览原文或者相关报道。

Metasurfaces enable improved optical lens performance

Abstract

Nano-optic imagers that modulate light at sub-wavelength scales could enable new applications in diverse domains ranging from robotics to medicine. Although metasurface optics offer a path to such ultra-small imagers, existing methods have achieved image quality far worse than bulky refractive alternatives, fundamentally limited by aberrations at large apertures and low f-numbers. In this work, we close this performance gap by introducing a neural nano-optics imager. We devise a fully differentiable learning framework that learns a metasurface physical structure in conjunction with a neural feature-based image reconstruction algorithm. Experimentally validating the proposed method, we achieve an order of magnitude lower reconstruction error than existing approaches. As such, we present a high-quality, nano-optic imager that combines the widest field-of-view for full-color metasurface operation while simultaneously achieving the largest demonstrated aperture of 0.5 mm at an f-number of 2.