引用本文

郑程驰, 范影乐. 视网膜功能启发的边缘检测层级模型. 自动化学报, 2023, 49(8): 1771−1784 doi: 10.16383/j.aas.c220574

Zheng Cheng-Chi, Fan Ying-Le. Multi-layer edge detection model inspired by retinal function. Acta Automatica Sinica, 2023, 49(8): 1771−1784 doi: 10.16383/j.aas.c220574

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220574

关键词

边缘检测，视网膜，Izhikevich模型，神经编码，方向选择性神经节细胞 

摘要

基于视网膜对视觉信息的处理方式, 提出一种视网膜功能启发的边缘检测层级模型. 针对视网膜神经元在周期性光刺激下产生适应的特性, 构建具有自适应阈值的Izhikevich神经元模型; 模拟光感受器中视锥细胞、视杆细胞对亮度的感知能力, 构建亮度感知编码层; 引入双极细胞对给光−撤光刺激的分离能力, 并结合神经节细胞对运动方向敏感的特性, 构建双通路边缘提取层; 另外根据神经节细胞神经元在多特征调控下延迟激活的现象, 构建具有脉冲延时特性的纹理抑制层; 最后将双通路边缘提取的结果与延时抑制量相融合, 得到最终边缘检测结果. 以150张来自实验室采集和AGAR数据集中的菌落图像为实验对象对所提方法进行验证, 检测结果的重建图像相似度、边缘置信度、边缘连续性和综合指标分别达到0.9629、0.3111、0.9159和0.7870, 表明所提方法能更有效地进行边缘定位、抑制冗余纹理、保持主体边缘完整性. 本文面向边缘检测任务, 构建了模拟视网膜对视觉信息处理方式的边缘检测模型, 也为后续构建由视觉机制启发的图像计算模型提供了新思路.

文章导读

边缘检测作为目标分析和识别等高级视觉任务的前级环节, 在图像处理和工程应用领域中有重要地位. 以Sobel和Canny为代表的传统方法大多根据相邻像素间的灰度跃变进行边缘定位, 再设定阈值调整边缘强度和冗余细节[1]. 虽然易于计算且快速, 但无法兼顾弱边缘感知与纹理抑制之间的有效性, 难以满足复杂环境下的应用需要. 随着对生物视觉系统研究的进展, 人们对视觉认知的过程和视觉组织的功能有了更深刻的了解. 许多国内外学者在这些视觉组织宏观作用的基础上, 进一步考虑神经编码方式与神经元之间的相互作用, 并应用于边缘检测中. 这些检测方法大多首先会选择合适的神经元模型模拟视觉组织细胞的群体放电特性, 再关联例如视觉感受野和方向选择性等视觉机制, 以不同的编码方式将输入的图像转化为脉冲信号, 经过多级功能区块处理和传递后提取出图像的边缘. 其中, 频率编码和时间编码是视觉系统编码光刺激的重要方式, 在一些计算模型中被广泛使用. 例如, 文献[2]以HH (Hodgkin-Huxley)神经元模型为基础, 使用多方向Gabor滤波器模拟神经元感受野的方向选择性, 实现神经元间连接强度关联边缘方向, 将每个神经元的脉冲发放频率作为边缘检测的结果输出, 实验结果表明其比传统方法更有效; 文献[3]在 LIF (Leaky integrate-and-fire) 神经元模型的基础上进行改进, 引入根据神经元响应对外界输入进行调整的权值, 在编码的过程中将空间的脉冲发放转化为时序上的激励强度, 实现强弱边缘分类, 对梯度变化幅度小的弱边缘具有良好的检测能力. 除此之外, 也有关注神经元突触间的相互作用, 通过引入使突触的连接权值产生自适应调节的机制来提取边缘信息的计算方法. 例如, 文献 [4] 构建具有STDP (Spike-timing-dependent plasticity) 性质的神经元模型, 根据突触前后神经元首次脉冲发放时间顺序来增强或减弱突触连接, 对真伪边缘具有较强的辨别能力; 文献 [5] 则在构建神经元模型时考虑了具有时间不对称性的STDP机制, 再融合方向特征和侧抑制机制重建图像的主要边缘信息, 其计算过程对神经元突触间的动态特性描述更加准确. 更进一步, 神经编码也被应用于实际的工程需要. 例如, 文献 [6]针对现有的红外图像边缘检测算法中存在的缺陷, 构建一种新式的脉冲神经网络, 增强了对红外图像中弱边缘的感知; 文献 [7] 则通过模拟视皮层的处理机制, 使用包含左侧、右侧和前向3条并行处理支路的脉冲神经网络模型提取脑核磁共振图像的边缘, 并将提取的结果用于异常检测, 同样具有较好的效果. 上述方法都在一定程度上考虑了视觉组织中神经元的编码特性以及视觉机制, 与传统方法相比, 在对复杂环境的适应性更强的同时也有较高的计算效率. 但这些方法都未能考虑到神经元自身也会随着外界刺激产生适应, 从而使活动特性发生改变. 此外, 上述方法大多也只选择了频率编码、时间编码等编码方式中的一种, 并不能完整地体现视觉组织中多种编码方式的共同作用. 事实上, 在对神经生理实验和理论的持续探索中发现, 视觉组织(以视网膜为例)在对视觉刺激的加工中就存在着丰富的动态特性和编码机制[8-9]. 视网膜作为视觉系统中的初级组织结构, 由多种不同类型的细胞构成, 共同组成一个纵横相连、具有层级结构的复杂网络, 能够针对不同类型的刺激性选择相应的编码方式进行有效处理. 因此, 本文面向图像的边缘检测任务, 以菌落图像处理为例, 模拟视网膜中各成分对视觉信息的处理方式, 构建基于视网膜动态编码机制的多层边缘检测模型, 以适应具有多种形态结构差异的菌落图像边缘检测任务.

图 1  边缘检测算法原理图

图 2  改进前后的Izhikevich模型对图像进行脉冲发放的结果对比图

图 3  不同方式对存在弱边缘的菌落图像的处理结果

本文针对边缘检测任务, 重点研究视网膜中各成分对视觉信息的处理能力, 模拟视网膜中存在的多种动态特性和编码方式构建边缘检测模型. 首先构建具有自适应阈值的Izhikevich神经元模型, 并综合考虑光感受器中视杆细胞和视锥细胞的作用功能, 实现多水平亮度感知, 强化对检测目标和背景的区分能力. 然后结合固视微动机制得到各个神经元的最优运动方向, 根据方向选择性神经节细胞对运动方向敏感的特性, 使检测目标沿着给光−撤光双通路传递, 分别提取目标的边缘. 再者引入神经元延时抑制特性, 使神经节细胞整合对比度和方向的多种特征计算各神经元的延时抑制量, 抑制感知纹理噪声的神经元的发放. 最后将双通路边缘检测结果融合, 得到最终边缘检测结果. 使用150张形态特征多样化的菌落图像作为检测目标验证本文方法的有效性, 对检测结果计算重建相似度MSSIM、边缘置信度BIdx、边缘连续性CIdx和综合指标EIdx, 并与其他5种方法对比进行定性、定量分析, 可知本文方法对于保留菌落边缘特征具有更大的优势, 尤其对于弱边缘, 检出的边缘显著性更高、连续性和完整性更好, 对冗余细节的抑制能力也更强, 对于不同亮度水平、形态特性、清晰度和边缘层次的菌落图像有着良好的适应性, 优于其他对比的方法, 也为未来能够取得更好的检测效果提供了新的模型框架和思路.

作者简介

郑程驰

杭州电子科技大学硕士研究生. 2020年获得华北水利水电大学学士学位. 主要研究方向为模式识别, 图像处理.E-mail: 201060093@hdu.edu.cn

范影乐

杭州电子科技大学教授. 2001年获浙江大学博士学位. 主要研究方向为神经信息学, 机器视觉和机器学习. 本文通信作者.E-mail: fan@hdu.edu.cn