博文

山东大学钱凯教授团队：构建沉浸式VR/AR触觉交互闭环

已有 2224 次阅读 2026-7-31 11:38 |系统分类:论文交流

Constructing the haptic interaction loop for immersive VR/AR systems

文章导读

高保真VR/AR的发展长期受制于“幽灵手”引发的感官失衡核心瓶颈：目前视听渲染技术已趋于成熟，触觉交互通道的缺失造成多感官感知割裂，严重削弱虚实沉浸体验。本文构建感知-运算-反馈一体化的 “人-机-环境” 触觉闭环理论框架，区别于现有研究多侧重柔性材料本身，从系统工程层面梳理了无感式电子皮肤的技术演进路径。输入端解析仿生微结构与新型换能机制，实现多触觉信号解耦与高精度数字化；输出端剖析力、肤、热多模态致动技术，完成数字信号向人体触觉刺激的物理重构；同时阐明深度学习、片上边缘计算可有效克服柔性器件固有的非线性与延迟缺陷。本文在远程操控、康复医疗、沉浸式文娱场景完成框架有效性验证，梳理功率-便携冲突、多模态串扰等现存工程瓶颈，证实打通触觉闭环是元宇宙实现具身化主动交互的必要基础。

关键词：柔性电子皮肤、柔性功能材料、触觉交互、柔性触觉传感、多模态触觉反馈

Citation：Zechuan Yu, Chenghui Wang, Ziyi Dai, Cheng Wang, Yuanzhe Liang, Shan Ma, Mingrui Wang, Kai Qian. Constructing the haptic interaction loop for immersive VR/AR systems[J]. Materials Futures. DOI: 10.1088/2752-5724/ae8611

本文亮点：

1. 构建人-机-环境一体化触觉交互闭环体系，跳出单一器件研究视角，从系统工程维度完整梳理VR/AR全链路触觉交互框架。

2. 系统剖析柔性触觉传感、多模态触觉致动与片上边缘计算三大核心模块，阐明仿生微纳结构、深度学习算法解决柔性器件信号串扰、传输延迟的内在机理。

3. 依托多类应用场景验证闭环框架实用性，系统归纳功率-便携平衡、多模态信号耦合等工程瓶颈，指明下一代轻量化穿戴触觉设备核心发展路径。

图1 面向虚拟现实与增强现实的闭环集成柔性触觉系统，从底层传感机理、各类应用场景到未来发展展望。版权所有：(2022) American Chemistry Society, (2025) Elsevier, (2019) IEEE, (2011) Cambridge University Press, (2019, 2025) Springer Nature, (2021, 2022) Wiley-VCH.

研究背景

当前VR/AR视听渲染技术日趋成熟，近眼显示、空间音频可搭建高度逼真虚拟场景，但触觉交互发展严重滞后，引发视听-触觉感官失衡。用户可视虚拟物体却无匹配力学、纹理反馈，抓取时出现“幽灵手”现象，大幅削弱虚实沉浸感，同时诱发VR晕动症，成为元宇宙实现真实具身交互的核心阻碍。现有研究多单独探究传感或驱动器件，缺乏覆盖感知、运算、反馈的完整系统梳理，难以解决穿戴设备延迟、功耗、信号串扰等工程矛盾。因此，搭建一套覆盖全链路的VR/AR触觉交互闭环系统综述，对推动沉浸式触觉穿戴设备落地具有重要价值。

本文要点

输入端感知：多机理柔性触觉传感体系

针对交互闭环信号采集需求，文章系统划分压阻电容、磁致伸缩、光学三大主流柔性传感路线（图2）。基于皮肤表皮互锁结构设计的仿生微纳传感单元可大幅提升压力灵敏度、降低材料迟滞；磁传感依靠磁场矢量特性实现法向/剪切力零串扰分离，搭配稀疏电极与深度学习达成毫米级超分辨触觉成像；光纤传感凭借光子无电磁干扰特性适配VR头显复杂电磁环境，适合精细纹理识别。同时引入电阻抗层析成像（ERT）大面积读出方案，仅依靠边界电极即可重构全域压力分布，破解高密度电子皮肤布线繁杂难题，为高保真触觉数字化提供完整硬件路径。

图2 全感官人机交互输入端柔性触觉传感器的分类与性能概要。版权所有：(2022) American Chemical Society, (2022) Chinese Academy of Sciences; (2020, 2025) Elsevier, (2024) Springer Nature, (2018, 2025) Institute of Electrical and Electronics Engineers, (2024) Wiley-VCH.

输出端反馈：多模态触觉复现致动技术

为完成数字信号向人体触觉的物理还原，本文分类梳理力觉、肤觉、热觉及全身地形反馈四类致动方案（图3）。刚性并联Delta机构可输出高精度三维力矢量，但设备笨重限制活动自由度；轻量化气动软体手套通过气压动态调节刚度，可模拟软硬物体夹持触感；振动渲染、指尖实物切换、指甲微驱动等肤觉方案兼顾佩戴轻便与纹理真实度。基于珀尔帖元件的热反馈可复刻不同材质冷热差异，结合热错觉简化前端布线。磁流变流体鞋垫可实时模拟雪地、泥土等地面力学特征，缓解视觉与前庭感知冲突，解决VR行走晕动症问题。

图3 人-机-环境交互多模态触觉反馈原理图。柔性触觉传感器采集金属、木材、水体等真实材质的刚度、温度、粗糙度触觉特征，经信号处理重构后通过触觉系统向人体复现物理刺激，实现虚拟场景下物体精准分辨，有效提升虚实沉浸感与在场感。

处理层运算：智能集成与近传感边缘计算

柔性器件固有的非线性、信号迟滞与海量阵列传输延迟制约交互实时性，文章从硬件集成、智能算法、存算架构三方面构建一体化处理体系（图4）。硬件端采用液态金属互连、蛇形走线实现软硬电路无缝贴合，超薄金纳米膜达成皮肤无感贴合。算法层面采用CNN提取压力空间特征、Transformer 解析触觉时序信号，少样本自适应模型完成设备个性化快速校准。算力革新上提出片上传感与存算一体架构，在传感端直接完成特征提取，省去模数转换与远距离传输耗时，将端到端延迟压缩至人体感知阈值以内，实现感知、运算、反馈同步协同。

闭环场景验证与现存工程核心瓶颈

依托五大典型场景验证整套触觉交互闭环框架的落地价值（图5）。远程机器人操控依靠力透明反馈降低易碎物体操作破损率，VR镜像疗法借助多模态触觉刺激重塑躯体感觉皮层，促进幻肢痛神经康复，数字创作设备还原黏土、涂料等材质阻尼手感，宇航、消防等极端环境依靠触觉织物弥补视觉缺失；消费娱乐全身触觉系统大幅提升沉浸感。同时客观梳理行业三大底层工程矛盾：高保真反馈与轻量化设备的功率-便携悖论、多模态传感致动之间热-力学信号串扰、大面积阵列集成制造工艺不成熟，为后续材料、硬件、算法协同优化指明改进方向。

总结与未来展望

本文系统搭建人-机-环境一体化VR/AR触觉交互闭环，完整梳理柔性触觉传感、多模态反馈、智能集成系统全链条技术，并依托远程操控、康复医疗等多元场景验证框架有效性。现有技术已实现高精度触觉信号数字化，但存在传感与反馈性能失衡、功率-便携矛盾、多模态信号串扰、跨感官同步延迟等工程短板，制约元宇宙具身交互落地。面向下一代沉浸式交互，后续研究可沿四大方向推进：研发本征信号解耦的生物兼容柔性功能材料，发展片上传感边缘计算以消除传输时延，探索大面积单片集成制造简化硬件架构，针对工业、医疗、消费场景开展分级定制优化。多技术协同突破，有望实现无感贴合仿生电子皮肤，真正打通虚实触觉通道，推动VR/AR从视觉单向展示转向全感官主动交互。