受脑启发的计算机视觉旨在学习生物系统来开发先进的图像处理技术。然而，迄今为止，这方面进展缓慢。其发展的主要障碍来自于当前脑启发计算机视觉的范式没有抓住生物视觉的最基本特征，即生物视觉的目标是处理时空模式的信号。最近，一种新的脑启发计算机视觉范式正在逐步形成，它强调了视觉信号的时空特性，同时采用脑启发计算模型来处理此类数据。本文回顾了这一新范式目前的一些进展，包括直接从视觉场景中获取脉冲信号的脉冲相机的开发，以及受神经系统启发而研发的专门用于处理时空模式的的神经网络模型，包括目标检测、跟踪和识别。文章还讨论了未来这一新范式的发展方向。全文发表于Machine Intelligence Research第五期专题中。

​图片来自Springer

目前，以深度卷积神经网络(DCNNs)为代表的计算机视觉或机器视觉在许多视觉任务中取得了巨大成功。然而，与生物视觉相比，计算机视觉在性能和能力的多样性方面仍然远远落后。例如，DCNNs主要模拟生物视觉腹侧通路的前馈和层次结构，在图像分类方面取得了极高的精度，但在完成其他任务时，如视频分析和图像理解，仍然差强人意。因此，从生物视觉中学习，即脑启发计算机视觉，仍然是推动计算机视觉发展的一种有效途径。

虽然发展脑启发计算机视觉的重要性被广泛认可，但到目前为止，该领域还没有取得真正意义上的重大突破，可以与AlphaGo对围棋游戏、AlphaFold对蛋白质预测的成就相媲美。

那么，该领域发展的阻碍是什么？目前脑启发计算机视觉发展忽视的一个核心问题是忽视了生物视觉的一个关键性质，即生物视觉的目标是处理时空模式信号，这与DCNNs所擅长的静态图像有根本的不同。简而言之，大脑中每个部位的神经信号的根本特点是同时具有空间和时间结构。

在从外部世界获取视觉信息的初始阶段，视网膜就以连续光流的形式接收信号；这些信号被视网膜神经节细胞转换成脉冲序列，逐层传输到视觉皮层；它们再与来自其它脑区的包含先验或记忆知识的脉冲信号整合；最终，视觉信息以神经元的脉冲反应的形式被提取出来(参见图1)。整个过程非常复杂，许多细节尚不清楚，但是视觉系统以脉冲序列形式来计算时空模式，这一点已经得到实验充分证实。

图一

在认识到机器视觉和生物视觉之间的上述差异后，一种新的抓住这种根本差异的脑启发的计算机视觉范式正在兴起。具体而言，在这种范式下，外部世界的视觉信息从一开始就以脉冲序列的形式表达，随后由生物系统启发的计算模型进行处理。值得注意的是，目前领域内流行的脉冲神经网络(SNNs)并没有真正实现这一目标，它们通常忽略了生物系统有效加工时空模式信息的许多关键特征，例如兴奋性和抑制性的神经元区分、随机的神经元放电、神经元之间的循环和反馈相互作用、突触的短期可塑性等。

本文的结构如下。第二部分首先回顾脉冲相机的最新发展，特别是Vidar，它提供了一种通过脉冲序列表示视觉输入的方法。第三部分将回顾三种受大脑启发的计算模型，它们可以分别基于脉冲序列，实现信号的快速检测、目标的预测跟踪、以及时空模式的识别。最后，第四部分将讨论脑启发计算机视觉的未来发展。

全文下载：

Towards a New Paradigm for Brain-inspired Computer Vision

Xiao-Long Zou, Tie-Jun Huang, Si Wu

https://link.springer.com/article/10.1007/s11633-022-1370-z

https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1370-z

【本文作者】

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接或扫描下方二维码填写收件地址，编辑部将在7个工作日内为您免费寄送纸版全文！

收件信息登记：

https://www.wjx.cn/vm/rfQWEKc.aspx 

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。

MIR最新招聘启事：

中科院自动化所《机器智能研究》编辑部实习生招聘启事