博文
半导体十大研究进展候选推荐（2025-042）——以人为本的多模态可穿戴视觉辅助系统
|
1 工作简介
——以人为本的多模态可穿戴视觉辅助系统
视觉健康问题已成为全球公共卫生挑战，人口老龄化和青少年近视率上升加剧了视觉障碍防治的紧迫性。当前视觉修复技术中，视网膜刺激、视皮层植入等侵入性方案存在手术风险高、适用性有限等问题；而穿戴式助视设备虽具有非侵入性、高安全性和AI兼容性优势，却因设备笨重、舒适性差、认知负荷高等人机适配缺陷，导致视障患者体验不佳，普及度受限。
针对这一瓶颈，上海交通大学顾磊磊团队历经四年技术攻关，研发了“以人为本”的眼-腕-脚协同的多模态视觉辅助系统，软硬结合，双管齐下，共同提高系统可用性。系统通过融合智能眼镜、柔性电子皮肤、智能鞋垫等轻型硬件，从结构和功能上学习人类视觉系统，促进系统的小型化与轻型化；通过融合人工智能算法和神经认知机理，降低大脑的认知负担，并进一步通过人在环中的虚实结合的训练促进人机融合，降低患者的学习负担，提高系统的可用性。主要创新点如下：（1）设计人工视觉系统，精准提取关键视觉信息，减少视觉输出流量；（2）基于神经科学原理优化反馈方式，设计柔性电子皮肤，通过触-听协同输入视觉信息，减轻大脑认知负担；（3）设计基于虚拟现实的训练系统，通过基于摩擦电的智能鞋垫同步实际人和虚拟人的动作，降低训练负担与使用风险。该系统采用高度集成设计，在视觉传感、神经反馈和用户接口方面优化了低功耗、快速响应和人性化需求，体积、重量和集成度显著优于传统硬质设备，为视障人群提供非侵入式、低成本、智能化辅助方案，是对侵入式脑机接口的有力补充。系统经过视障志愿者在实验室环境内上百人次的内部初测，包括：1）虚拟环境测试：成功实现直行、转弯及不同难度的走迷宫测试 ；2）真实场景测试： 室内工作环境，室外动态避障环境以及狭窄的走廊等，可用性经过国际权威的SUS标准评定，居于所有可穿戴系统的前15%。成果以其为唯一通讯作者、标题为“Human-centred design and fabrication of a wearable multimodal visual assistance system”发表于《Nature Machine Intelligence》，被Nature 新闻强调报告，也被国内的中央广播电台、新华网、人民网等权威媒体报道，其中央广的新闻播放超过五千万次，产生了广泛的社会影响。
2 主要作者简介
第一作者
唐健，2025年获上海交通大学计算机学院博士学位。
主要从事多模态可穿戴视觉辅助设备相关研究。以第一/共同第一作者在 Nature Machine Intelligence 等国际期刊和会议发表论文2篇，申请发明专利3项。入选中国人工智能学会首届“潜力清源学者”，获上海交通大学优秀博士毕业生。
通讯作者
顾磊磊，上海交通大学清源研究院长聘教轨副教授，博士生导师，上海人工智能实验室实验室双聘青年研究员，上海市青年科技启明星。
2016年于香港科技大学范智勇教授团队获博士学位，研究方向聚焦于仿生视觉器件与系统，在单一器件-曲面集成-系统应用等方面产出多项原创性成果，在Nature (唯一一作)、 Nature Machine Intelligence (唯一通讯)等国际著名期刊上发表论文30余篇。成果两次被Nature News报道，代表性球形纳米线仿生眼工作入选Nature Research Highlight、Nature Hot Topics、“年度中国半导体十大进展”、以及“国际发明创新展览会金奖”等。主持国家自然科学基金面上项目、上海市启明星项目，参研2030脑计划科技部重大专项青年科学家项目。
3 原文传递
详情请点击论文链接：https://www.nature.com/articles/s42256-025-01018-6
https://blog.sciencenet.cn/blog-3406013-1517588.html
上一篇：半导体十大研究进展候选推荐（2025-041）——基于电调谐有机探测器的微型光谱成像阵列
下一篇：半导体十大研究进展候选推荐（2025-043）——镧钝化蓝宝石上单晶过渡金属二硫属化物的稳健外延
