引用本文

赵艺楠, 白雪剑, 李贤琦, 崔少伟, 王硕, 谭民, 王宇. 基于改进CSRT的仿生视触觉传感器动态标记点跟踪方法. 自动化学报, 2026, 52(5): 1008−1017 doi: 10.16383/j.aas.c250509

Zhao Yi-Nan, Bai Xue-Jian, Li Xian-Qi, Cui Shao-Wei, Wang Shuo, Tan Min, Wang Yu. Dynamic marker tracking method of bionic visual-tactile sensor based on improved CSRT. Acta Automatica Sinica, 2026, 52(5): 1008−1017 doi: 10.16383/j.aas.c250509

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250509

关键词

仿生视触觉，目标检测，目标跟踪，GelStereo传感器，CSRT相关滤波器

摘要

针对仿生视触觉传感器中密集标记点目标在动态环境下检测精度与实时性难以兼顾、传统光流算法对光照敏感导致检测精度低的问题, 提出一种融合斑点检测与动态感兴趣区域(ROI)优化机制的改进CSRT算法. 以GelStereo型传感器为硬件平台, 通过轻量级斑点检测实现标记点目标初始定位, 并依据其运动轨迹自适应生成ROI, 显著降低了计算复杂度, 提升系统实时性. 实验结果表明, 所提算法在多种光照条件下均保持优越性能, 检测准确率、召回率与F1分数分别达0.9991、0.9953、0.9972, 较光流算法F1分数提升17.48%; 跟踪持续率为99.41%, FPS提升至22.17, 是CSRT的2.66倍. 该算法有效平衡了检测鲁棒性、跟踪精度与实时性, 为仿生机器人高精度实时触觉感知提供了可行的技术方案.

文章导读

触觉感知作为机器人灵活操作的重要能力, 与视觉感知共同构成机器人执行任务的关键信息来源. 人类通过触觉可以快速获得物体的物理属性, 从而制定相应的操作策略, 在机器人领域中触觉传感器的发展为模拟这一能力提供了基础[1]. 其中, 基于视觉的触觉传感器(视触觉传感器)凭借高空间分辨率的触觉信息捕捉能力受到广泛关注[2]. 这类传感器通常通过相机捕捉接触凝胶层产生的胶体形变信息[3], 采用计算机视觉算法分析其中嵌入的标记点在外力作用下的运动来提取触觉信息. 标记点的精准检测与跟踪成为机器人多模态智能感知领域的重点研究方向之一.

在目标检测与跟踪方面, 高芳芳等[4]对于果园智能管理, 提出一种基于轻量级目标检测网络YOLOv4-tiny和卡尔曼滤波跟踪算法的苹果检测与视频计数方法, 在果园视频中检测准确度达到96.15%. Du等[5]针对多目标跟踪中检测失败和轨迹中断问题, 在DeepSORT基础上提出StrongSORT方法, 通过在数据集上的实验验证了其优越性. Liu等[6]提出MOSSE滤波方法, 将跟踪问题转化为一个二分类问题, 即训练一个滤波器来区分目标与其周围背景, 并通过在频域中进行快速运算来实现实时的跟踪性能, 通过多次实验验证了该滤波器极高的效率和鲁棒性. 这一工作首次将自适应相关滤波器引入到目标跟踪中. 在这之后, 基于相关滤波的跟踪方法吸引了众多研究者的关注. Zhao等[7]针对KCF跟踪器模型漂移问题, 提出一种基于IKPCA-KCF (incremental kernel principal component analysis-kernelized correlation filter)的跟踪方法, 引入最近邻分类器增强跟踪可靠性. Maharani等[8]针对跟踪中目标遮挡问题, 提出一种基于深度特征与手工特征融合的KCF跟踪方法, 通过多组实验验证了其在提升跟踪精度上的有效性. 上述方法在通用目标跟踪中表现良好, 但其通常面向单体或有限数量目标的跟踪场景, 且普遍依赖全局特征提取与复杂优化流程, 难以直接适配视触觉传感器中分布密集、尺寸微小的标记点跟踪需求.

在视触觉传感器方面, 韩国仁荷大学的Kakani等[9]基于双目视觉原理进行视触觉传感器的设计, 提出一种基于图像分割和斑点分析的关键点检测方法, 结合高斯回归估计接触面积. 瑞士苏黎世联邦理工学院的Aucone等[10]针对在接触胶体层中嵌入随机密布的标记点传感器, 提出一种基于密集反搜索光流的算法, 利用相机的全分辨率, 在平面图像中实现标记点的跟踪与位移计算. Yin等[11]针对机器人触觉传感器在高帧率响应多模态信息的需求, 提出一种基于事件相机的新型触觉传感器GelEvent, 通过事件相机检测凝胶表面黑色标记变形引起的亮度变化来实时感知接触状态及接触面积. Shepherd等[12]提出的TacTip传感器, 将细长的白色探针附着在柔性黑色表面上, 通过相机观察探针的移动传导凝胶层表面形变信息. 文献[13]提出的SoftBubble传感器, 在表面加入一层随机分布的高密度内部标记, 以跟踪指示膜位移的密集光流模式. Du等[14]提出一种在接触胶体层中添加标记点和随机像素图层的传感器, 通过光流法捕捉触觉信息. 对于混合型视触觉传感器中标记点与反射膜图像相互干扰的问题, 韩国学者Kim等[15]提出一种基于可切换紫外标记的触觉感知传感器UVtac, 通过提取各标记点质心位置变化求出标记点的位移场. 上述研究推动了视触觉传感技术的发展, 但现有方法多数仍基于光流类算法. 这类方法对光照变化较为敏感, 在快速形变的情况下容易发生跟踪丢失, 难以在保证实时性的同时满足系统高精度的要求.

综上所述, 基于视觉的运动目标检测与跟踪算法已广泛应用于诸多领域中[16], 但其在视触觉传感器中的应用研究较少, 仍面临更多挑战. 视触觉传感器为便于集成在机器人末端, 通常整体体积小巧、结构紧凑, 其内部标记点目标尺寸微小且分布密集. 这使得在检测与跟踪过程中同时兼顾高精度检测与实时性极为困难. 现有方法多数依赖于光流算法, 在应对标记点快速运动时, 普遍存在检测精度较差、计算效率不足的问题. 本文在上述研究的基础上, 针对视触觉传感器中动态标记点的高效、精准识别要求, 提出一种基于改进CSRT (channel and spatial reliability tracker)算法的标记点检测与跟踪方法. 该算法融合斑点检测与CSRT以提升算法对动态标记点的检测与跟踪精度, 引入动态感兴趣区域(region of interest, ROI)优化策略, 更新移动标记点区域, 以提升计算效率, 保证标记点跟踪的实时性. 最后, 基于GelStereo型传感器开展实验验证, 结果表明该方法不仅满足传感器中高精度检测的需求, 而且显著增强了系统的实时性与鲁棒性.

图1  基于改进CSRT的标记点跟踪算法

图2  动态ROI优化机制

图3  GelStereo传感器示意图

本文围绕仿生视触觉传感器中密集标记点高精度、高实时检测与跟踪需求, 提出一种基于改进CSRT算法的标记点检测与跟踪算法, 通过融合轻量级斑点检测与动态ROI机制, 在确保检测精度与跟踪稳定性的同时, 显著提升了系统实时性与跟踪效率. 该算法将斑点检测融入CSRT算法中, 强化了对标记点形态特征的提取能力, 有效提升了其在不同光照条件下的检测鲁棒性; 同时, 引入基于运动状态感知的动态ROI方法, 自适应地聚焦于形变区域, 显著降低了系统计算负荷, 在保障跟踪精度的同时大幅提升了系统的实时处理能力.

实验结果表明, 在检测性能方面, 本文算法在弱光环境下标记点检测的F1分数为0.9972, 光流算法为0.8488, 显著优于传统光流方法. 在跟踪性能方面, 算法在维持跟踪持续率达99.41% 的同时, 将系统帧率从改进前的8.34提升至22.17, 大幅提高了算法的计算效率, 表现出算法优异的实时性与稳定性. 接触物体位移跟踪的方向一致性大于85%, 可以较为准确地反映物体的整体运动趋势. 此外, 实验中发现当凝胶层发生局部物理性裂痕时, 个别标记点因形态断裂而发生跟踪中断与轨迹不一致的现象, 反映了当前算法在极端形变条件下的局限性. 本文提出的改进CSRT算法在检测精度、跟踪稳定性与系统实时性之间实现了良好平衡, 满足了视触觉传感器对实时触觉感知的迫切需求, 为机器人灵巧操作提供了可靠的触觉反馈信息. 未来工作可进一步探索多模态传感器信息融合、基于深度学习的标记点特征提取、在标记点断裂或严重形变等情况下的鲁棒跟踪机制等方向, 以进一步提升算法在不同环境下的准确性与实时性.

作者简介

赵艺楠

辽宁工业大学电气工程学院硕士研究生. 主要研究方向为水下仿生机器人. E-mail: 15513137357@163.com

白雪剑

辽宁工业大学电气工程学院讲师. 主要研究方向为水下机器人. 本文通信作者. E-mail: baixuejian2018@ia.ac.cn

李贤琦

中国科学院自动化研究所博士研究生. 主要研究方向为水下机器人. E-mail: lixianqi2025@ia.ac.cn

崔少伟

中国科学院自动化研究所讲师. 主要研究方向为水下机器人. E-mail: cuishaowei2017@ia.ac.cn

王硕

中国科学院自动化研究所研究员. 主要研究方向为仿生机器人. E-mail: Shuo.wang@ia.ac.cn

谭民

中国科学院自动化研究所研究员. 主要研究方向为智能控制. E-mail: min.tan@ia.ac.cn

王宇

中国科学院自动化研究所研究员. 主要研究方向为水下机器人. E-mail: yu.wang@ia.ac.cn

支持单位：