博文
半导体十大研究进展候选推荐（2024-005）——一种适用于自然场景下非相干光的感前-感中-感后全集成图像传感与计算芯片
|
1 工作简介
—— 一种适用于自然场景下非相干光的感前-感中-感后全集成图像传感与计算芯片
近年来，计算机视觉系统在各个领域得到了广泛的应用，计算机视觉系统正逐渐向小型化、边缘化、智能化的趋势演进。清华大学电子工程系针对低功耗图像信息感算融合的系统需求，提出了一种适用于自然场景下非相干光的感前-感中-感后全集成图像传感与计算芯片。
该系统结合了光域运算的高能量效率与电域运算的高配置灵活度的优势，在片上集成了光电混合的三层卷积处理模块：在传感前，利用特定的光掩膜板在光域完成第一层卷积运算，没有引入额外的功耗；在传感中，采用基于脉冲宽度调制（PWM）像素的图像传感器阵列，并设计了具有双模式像素的读出电路，并行完成第二层卷积与池化运算，具有高数据吞吐通量；在传感后，设计了基于流水线的计算方法，完成第三层卷积与池化运算。通过切换处理单元的模式，该图像传感系统可以分别在采集模式与计算模式下工作，以胜任不同任务场景下的多样化需求。在采集模式下，系统可达到49.02 pJ/fps/pixels的传感效率；在计算模式下，系统可达到0.367 TOPS/W的计算效率。相比于之前的state-of-the-art低功耗感算一体视觉传感芯片，该工作首次将感前处理、感中处理、感后处理三部分完全集成并封装在一颗芯片上，实现了最高的近传感端算法集成度，具有高能量效率与传感效率。该智能图像传感系统能够适用于多种计算机视觉任务，已在MNIST、Fashion MNIST、QuickDraw和UnityEyes等计算机视觉相关任务上完成了实验验证，均可取得90%以上的准确率。该系统对光源种类没有任何的额外限制，可以在不同光照条件下正常工作，具备在小型移动设备、无人机、机器人等多种智能移动终端上应用的潜力。
图1. 一种适用于自然场景下非相干光的感前-感中-感后全集成图像传感与计算芯片。
本工作得到了国家自然科学基金、北京未来芯片创新中心、北京信息科学与技术国家研究中心的支持。研究成果以《A 0.35V 0.367TOPS/W Image Sensor with 3-Layer Optical-Electronic Hybrid Convolutional Neural Network》为题发表在ISSCC 2024国际会议上，清华大学的博士生王学诚为第一作者，张沕林副教授、陈宏伟教授为通讯作者。2 作者简介
通讯作者
张沕琳，清华大学电子工程系长聘副教授，国家青年人才计划入选者。
长期致力于面向生物医学的低噪声低功耗电路设计与系统集成方法学研究。针对多种穿戴/植入生理信息传感的强烈需求，提出的适用于生物电信号频段的高精准、低功耗神经接口专用电路设计方法、高能效低功耗可植入空中接口设计方法、光电融合高能效传感电路设计方法等多项传感关键技术，相关成果发表于集成电路顶会ISSCC、集成电路顶刊JSSC、Nature子刊等，获得ISCAS2017、BioCAS2015最佳论文奖等。其研究受到基金委面上项目、重点项目、重大仪器项目、科技部重点研发等科研资金资助。她是领域内国际集成电路顶会ISSCC技术委员会成员、国际固态电路协会管理委员会成员、国际电路与系统协会传感系统技术委员会成员、国际电气电子工程师协会脑协会执行委员会成员、国际固态电路学会北京分会主席。国际电路与系统协会杰出演讲者、国际电气电子工程师协会女性工程师杰出演讲者。
通讯作者
陈宏伟，清华大学电子工程系长聘教授。主持了多项国家重点研发计划项目、国家自然科学基金以及北京市科技项目等。在Nature Communications、Nature Nanotechnology、Light：Science & Applications等学术期刊发表SCl论文100余篇，授权国家发明专利20余项。担任《Journal of Lightwave Technology》、《National Science Open》、《中国激光》、《红外与激光工程》等中英文科技期刊编委。曾获教育部自然科学二等奖、全国发明展览会金奖、首届军民融合创新大赛金奖以及光学工程学会技术发明一等奖等多个奖项。
3 原文传递
详情请点击论文链接：https://ieeexplore.ieee.org/document/10454479https://blog.sciencenet.cn/blog-3406013-1448404.html
上一篇：半导体十大研究进展候选推荐（2024-004）——一款基于22 nm CMOS工艺的高速高精度高能效的模数转换器芯片
下一篇：半导体十大研究进展候选推荐（2024-006）——非易失/易失存储融合型的片上学习存算一体宏芯片
扫一扫，分享此博文