香港理工大学柴扬教授课题组与延世大学及北京大学团队合作，在动态视觉信息的感算一体处理取得了重要进展。研究成果以“光电梯级神经元实现动态视觉信息的仿生感知和计算”（Optoelectronic graded neurons for bioinspired in-sensor motion perception）为题，在2023年4月20日发表于《自然·纳米技术》（Nature Nanotechnology）。

人类日常生活需要处理各种动态视觉信息，如过马路的时候需要迅速识别出汽车、自行车和行人等的运动，以避免交通事故。人类视觉系统具有10⁸个光感受器以及10¹¹个神经元，可以处理较复杂的动态视觉信息，识别不同对象和场景，以及预测未来情况。在传统视觉信息处理架构中，感知和计算是分离的，处理包含时间和空间的动态信息是复杂的非线性计算过程，需要较复杂的神经网络和大量的计算资源。相比之下，飞行昆虫仅依赖微小的视觉系统（例如，果蝇每侧复眼中有约780只小眼，系统仅含10⁵个神经元），就能敏捷地感知外界运动，迅速处理相对简单的任务，并快速做出对未知环境的反应。

人类用拍子击打果蝇的时候，虽然挥拍速度（50 km/h）是果蝇飞行速度（8 km/h）的6倍以上，但是昆虫往往可以快速感知并逃逸。果蝇这种敏捷的动态视觉信息感知能力，源于构成昆虫视觉感知系统的梯级神经元具有高信息传递速率和时序信息编码能力。梯级神经元的信息传输速率可以达到 1650 bit/s，大约是脉冲神经元的 5 倍。脉冲神经元的膜电位会在外部刺激超过某一特定阈值时发生突然增加，响应强度比基础状态高得多。这种变化具有“全有或全无”特性。而且脉冲神经元在释放脉冲信号后会进入不应期，这也会限制它们的信息编码能力。与此不同的是，梯级神经元可以展现出多级易失性响应，快速而准确地编码时序信息。基于此，梯级神经元阵列可以高效编码运动物体的时空信息。

图1. 昆虫的梯级神经元实现了快速的运动感知。

利用二硫化钼光电晶体管，可以仿生昆虫视觉系统中梯级神经元的响应特性。在光照刺激下，仿生器件可以展现易失性的梯级响应。通过测试器件在不同光照刺激频率下的光电响应，可以提取信噪比并计算信息传递速率。通过控制二硫化钼和氧化铝界面，器件具有较高稳定性，信息传递速率高达1200 bit/s，是生物脉冲神经元的4倍。通过调节器件栅压，可以影响电荷俘获动力学过程，使仿生器件可以感知宽达10¹到10⁶ ms时间尺度的运动。基于20×20仿生光电晶体管阵列，可以有效记录视野中运动物体的轨迹，如苍蝇拍的向左或向右，以及接近或远离的运动。

动态视觉信息的感知和计算，是对场景中物体和环境的运动进行时序编码分析和理解的过程。首先，基于仿生视觉传感器和传统图像传感器对小球的运动进行了感知：运动向上、向下、向左、向右和没有运动。在这个过程中，仿生视觉传感器可以融合一系列帧的时空信息；传统图像传感器只输出具有空间信息的帧。然后，利用输出的信息，通过小型人工神经网络识别小球的运动。基于仿生传感器，小球动作的识别准确率达到99.2％，而基于传统传感器的准确率仅为约50％。仿生传感器的信噪比（信息传递速率的基础）对动态信息的感知和识别有较大影响。随着信噪比从5.6增加到206，对小球运动的识别准确率可以提高约20%，所需要的训练次数也仅为原来的一半。调节栅压可以使传感器具有处理不同场景的能力，准确感知蜗牛（0.005 km/h）、熊猫（5 km/h）和猎豹（50 km/h）的运动状态。

利用含浅缺陷能级的二硫化钼光电晶体管，模仿飞行昆虫视觉系统中梯级神经元的响应特性，可以有效地融合编码时间和空间信息。在光照刺激下，仿生光电神经元可以实现高达1200 bit/s的传递速率，是传统脉冲神经元的4倍。基于20×20仿生光电晶体管阵列，可以有效感知物体的运动，结合小型神经网络后可以准确识别物体的运动。这种仿昆虫感算融合晶体管适用于分布式监控、无人机、自主驾驶和人机交互等领域的应用中。通过小型网络架构识别和跟踪物体的运动，并根据需要采取适当的行动，如避开障碍物。

该研究成果发表在期刊Nature Nanotechnology。香港理工大学博士后陈杰威和北京大学博士后周正为共同第一作者，香港理工大学柴扬和延世大学Jong-Hyun Ahn为共同通讯作者。该工作得到香港研究资助局、深圳市科技创新中心委员会和香港理工大学等资助。

通讯作者

柴扬，香港理工大学应用物理系教授，香港理工大学理学院副院长，香港物理学会副主席，香港青年科学院院士，IEEE Distinguished Lecturer，IEEE EDS Region 10 副主席。

获得过香港研究资助局杰出青年学者奖、香港理工大学校长特设杰出成就奖、半导体科学技术早期职业奖、纳米研究青年科学家奖等。   

第一作者

陈杰威，香港理工大学博士后。

详情请点击论文链接：