——可重构数字存算一体AI芯片

随着人工智能（Artificial Intelligence, AI）技术的发展，模型规模不断增加，带来巨大的算力和存储需求。大量频繁的访存使AI芯片的能效严重受限于冯诺依曼瓶颈问题。存算一体（Compute-In-Memory，CIM）架构可直接在存储器内完成计算，消除了计算和存储间的频繁访问，被认为是一种能够突破冯诺依曼瓶颈的高能效AI计算架构。然而，目前大多数存算一体AI芯片是基于模拟计算架构设计的。它们的模拟计算误差限制了计算精度，固定的存算通路限制了功能灵活性。这使得模拟存算一体架构只适合计算精度要求不高、功能灵活性要求不高、更注重低功耗的边缘端AI场景，而不适合对算力、能效、精度和灵活性同时具有很高要求的云端AI场景。随着高精度大规模AI模型不断涌现，在数据中心等云端AI场景进行训练和推理的算力需求日益增长。因此云端AI芯片的研究极具前景，亟需革新的AI芯片计算范式。

清华大学集成电路学院尹首一教授、魏少军教授团队提出可兼顾能效、精度和灵活性的AI芯片新范式（如图 1所示），可重构数字存算一体架构，设计出国际首款面向通用云端高算力场景的存算一体AI芯片ReDCIM（Reconfigurable Digital CIM）。该芯片首次在存算一体架构上支持高精度浮点与整数计算，可满足数据中心级的云端AI推理和训练等各种需求。该研究成果于2023年1月，以“ReDCIM: Reconfigurable Digital Computing-In-Memory Processor With Unified FP/INT Pipeline for Cloud AI Acceleration”为题，发表于集成电路领域顶级期刊IEEE Journal of Solid-State Circuits（JSSC）。清华大学尹首一教授为论文通讯作者，香港科技大学涂锋斌教授为论文第一作者，香港科技大学谢源教授为论文共同作者。 

图1对各种AI芯片架构进行了对比。可重构数字存算一体架构将数字存算一体架构与可重构计算融合，从根源上解决模拟存算一体的固有缺陷：数字存算一体架构在存储器内实现纯数字逻辑，完全避免模拟计算导致的计算误差，兼顾能效和精度；可重构计算架构动态改变存内数据通路，提高AI芯片灵活性。基于此范式，本文设计了国际首款面向通用云端高算力场景的存算一体AI芯片ReDCIM。

图1. AI芯片架构对比：(a)传统数字架构，(b)模拟存算一体架构，(c)数字存算一体架构，(d)可重构数字存算一体架构是兼顾能效、精度和灵活性的创新架构范式。

如图2所示，其在架构设计上引入了近存和存内两个层次的可重构计算：近存预对齐浮点乘加流水线架构，可以改变输入数据的预处理流程，实现不同的浮点模式和整数模式。层次化可重构存内累加架构，在同一个存算单元内灵活支持多种浮点（BF16、FP32）和整数（INT8、INT16）计算能力。

图2. ReDCIM芯片的整体架构。

ReDCIM芯片使用TSMC 28nm工艺成功流片，首次在存算一体架构上支持高精度浮点与整数计算，满足云端AI推理和训练等各种任务需求。其显微照片和硬件指标如图3所示。ReDCIM可达到29.2 TFLOPS/W的BF16浮点能效和36.5 TOPS/W的INT8整数能效，相比同期英伟达A100 GPU的BF16能效提升37.4倍，相比同期浮点存算一体芯片BF16能效提升20.4倍。 

图3. ReDCIM芯片的显微照片和硬件指标。

本工作的会议版本于2022年2月发表在被誉为“集成电路奥林匹克”的IEEE International Solid- State Circuits Conference（ISSCC）上，被选为亮点论文后受邀发表于集成电路领域顶级期刊JSSC。此外，ReDCIM芯片还入选了2023年中关村论坛《百项新技术新产品榜单》。目前研究团队正在与香港智能晶片与系统研发中心（ACCESS）合作，基于可重构数字存算一体AI芯片进行产业化准备。

AI芯片发展至今，从数字架构到模拟存算一体，芯片架构更新换代。数字架构受限于冯诺依曼访存瓶颈，能效存在局限性。模拟存算一体因突破了冯诺依曼访存瓶颈而具有更高能效，但精度和灵活性欠佳。可重构数字存算一体AI芯片融合了上述架构的优点，兼顾能效、精度和灵活性。可重构计算的引入大大拓展了传统存算一体架构的设计空间，让存算一体的功能不仅仅局限于整数乘加。可重构数字存算一体架构可适应未来更多人工智能计算场景需求，为AI芯片开辟了一种新的架构范式。