博文

半导体十大研究进展候选推荐（2025-051）——支持大规模语义媒体生成模型的全光计算芯片

已有 144 次阅读 2026-1-12 09:26 |系统分类:论文交流

1 工作简介

——支持大规模语义媒体生成模型的全光计算芯片

随着深度神经网络和大规模生成模型的迅猛演进，AI正以前所未有的速度革新世界。然而，规模爆炸式增长的生成模型带来超高算力和能耗需求，与传统芯片架构的性能增长速度已出现日益严峻的紧迫缺口。在后摩尔定律时代，为突破算力与能耗瓶颈，光计算等新型架构受到广泛关注。然而如传统的全光计算芯片主要局限于小规模、分类任务，光电级联或复用又会严重削弱光计算速度。因此，“如何让下一代算力光芯片能运行复杂生成模型”成为全球智能计算领域公认的难题。

针对上述难题，上海交通大学集成电路学院陈一彤课题组首次提出了面向大规模智能语义视觉生成的全光计算芯片LightGen，这也是国际首次实现的大规模全光生成式AI芯片。LightGen在单枚芯片上同时突破了百万级光学神经元集成、全光维度转换和无真值光芯片训练算法的领域公认瓶颈。LightGen芯片通过高度集成的衍射超表面与3D封装，在136.5 mm²的芯片上实现了超过210万光学神经元的系统集成。

图1.大规模全光生成计算芯片LightGen。

基于LightGen芯片，研究团队实现了高分辨率（≥ 512 × 512）图像语义生成、3D生成（NeRF）、高清视频生成及语义调控、去噪、局部及全局特征迁移等多项大规模生成式任务。

图2. LightGen生成的采样图像示例。

此外，LightGen采用了极严格的算力评价标准，在实现与电芯片上运行的Stable Diffusion、NeRF、Style Injection Diffusion等前沿电子神经网络相仿生成质量的同时，直接测量整个系统端到端的耗时与耗能降低。实测表明，即便采用较滞后性能的输入设备，LightGen仍可取得相比顶尖数字芯片2个和2个数量级的算力和能效提升。而如果采用前沿设备使得信号输入频率不是瓶颈的情况下，LightGen理论可实现算力提升7个数量级、能效提升8个数量级的性能跃升。这不仅直接体现了在不损失性能情况下替换顶尖现有芯片能获得的巨大算力和能效提升，也印证了解决大规模集成、全光维度转换、无真值光场训练等关键难点，全光片上实现大规模生成式网络的重要意义。

在生成式AI加速融入生产生活的背景下，要让“下一代算力芯片”在现代人工智能社会中真正实用，势在必行的是研发能够直接执行真实世界所需任务的芯片——尤其是大规模生成模型这类对端到端时延与能耗极其敏感的任务。面向这一目标，LightGen为新一代算力芯片真正助力前沿人工智能开辟了新路径，也为探索更高速、更高能效的生成式智能计算提供了新的研究方向。

相关工作以“All-optical synthesis chip for large-scale intelligent semantic vision generation”为题于2025年12月19日发表于《科学》（Science）上，并同步被《Science》官方选为高光论文重点报道。

2 主要作者简介

主要作者

陈一彤，上海交通大学集成电路学院（信息与电子工程学院）长聘教轨助理教授。

长期从事高速低功耗光电智能计算芯片及其应用，聚焦新一代算力芯片切实应用时的核心科学难点问题。一作/通讯在Nature、Science等国际顶尖期刊和会议发表多篇研究论文。国际首次实现复杂视觉智能任务中，实测光电智能计算芯片端到端速度较国际顶尖芯片提升三千六百倍，能效提升百万倍，相关成果被新华社、人民日报、光明日报、科技日报等报道。相关研究入选国家自然科学基金委优秀资助成果等。长期担任Nature系列、IEEE系列等国际顶级期刊会议独立审稿人。指导学生发表Cell子刊、Nature portfolio、CCF-A期刊论文等。

主要作者

翟广涛，上海交通大学集成电路学院（信息与电子工程学院）特聘教授，上海人工智能实验室双聘研究员，IEEE Fellow，杰青。

长期从事媒体智能相关研究，主持自然科学基金重点项目、科技部重点研发项目等，发表国际期刊会议论文500余篇，被引万余次，获发明专利授权60余项。获IEEE多媒体汇刊和IEEE广播技术汇刊最佳论文奖等国际奖励30余项，以第一完成人获得中国电子学会自然科学一等奖、技术发明一等奖及中国图象图形学学会技术发明一等奖等，任Elsevier期刊Displays主编、IEEE期刊OJID共同主编、上海市图像图形学学会理事长，曾获全国优博、优青、青拔、杰青、上海市“东方学者”、“曙光学者”等荣誉。