利用功能磁共振成像（fMRI）重构人眼所见的自然图像是脑机接口领域的重要挑战。中山大学与上海交通大学的研究团队提出了一种受神经科学启发的深度生成网络——FDGen 。该模型打破了传统方法将大脑活动视为单一向量的局限，创造性地利用大脑视觉皮层的功能多样性，将不同脑区（如V1, V2等）的信号分开处理，并引入功能选择机制（即注意力机制）动态提取关键信息 。实验表明，FDGen能显著提升图像重构的质量，生成的图像在纹理和形状上都更接近人眼真实所见，为非侵入式脑机接口的发展提供了新思路 。

中文标题：基于视觉皮层功能多样性的fMRI自然图像重构：连接神经科学与深度生成网络

英文原题：Functional diversity of visual cortex improves constraint-free natural image reconstruction from human brain activity

通讯作者：

张洳源，上海交通大学心理学院

第一作者：

杨凌霄，中山大学系统科学与工程学院

关键词：

fMRI decoding，Brain-computer interfaces，Brain function-related model，Conditional generative network，Natural image reconstruction

背景介绍

利用功能磁共振成像（fMRI）信号解码人脑视觉感知内容，对于理解大脑视觉编码机制及开发非侵入式脑机接口具有重要意义。然而，实现像素级的自然图像重构面临巨大挑战：一方面，fMRI信号信噪比低且数据量有限；另一方面，自然图像具有复杂的统计规律。传统的解码模型通常将大脑活动视为一个统一的特征向量进行处理，这种“全脑一统”的处理方式往往忽略了人类视觉皮层高度专业化的功能组织架构（如V1区主要处理边缘朝向，而FFA区专门处理人脸信息等），限制了重构的准确性。

研究成果

为了解决上述问题，张洳源教授和杨凌霄教授提出了一种基于视觉皮层功能多样性的深度生成网络(Functional Diversity based Generator, FDGen）。该模型的核心创新在于将神经科学中的“功能分区”理论融入深度学习网络设计中，具体包含两个关键模块（图1）：

图1：基于视觉皮层功能多样性的生成网络（FDGen）架构示意图

1. 基于功能的输入模块（Function-based Input Module, FIM）：不同于传统方法将所有体素（voxel）信号混合映射，FIM利用视网膜拓扑映射或功能定位实验获得的感兴趣区（ROI）掩模，将大脑活动信号分解为不同的功能组（如V1-V4, LOC, FFA, PPA等）。这些分组信号被分别投影到独立的特征空间中，从而明确地保留了不同脑区的信息处理特异性。

2. 功能选择模块（Function-Selection Module, FSM）：受生物学注意力机制的启发，FSM模块旨在模拟大脑对视觉信息的动态整合过程。在图像生成的不同阶段，该模块能够根据当前的生成状态，自适应地计算不同脑区特征的重要性权重。这种机制使得模型能够动态地“关注”对当前生成细节（如轮廓或纹理）最相关的脑区信号，从而优化特征表达。

研究团队在公开的基准fMRI数据集（Shen’s dataset）上对模型进行了验证。定量评估指标（如像素相关系数PCC和结构相似性SSIM）显示，FDGen在各项指标上均优于现有的端到端重构方法。定性结果表明，FDGen重构的图像不仅在全局布局上更加准确，而且在物体形状和局部纹理细节上具有更高的保真度（图2）。

图2：不同方法在 Shen 数据集上的自然图像重构效果对比

未来展望

本研究目前的 FSM 模块主要侧重于利用脑区功能权重对特征通道进行优化。未来的工作将致力于同时在空间维度和特征维度上进行精细化调控，尝试引入更复杂的注意力机制以捕捉更细微的视觉信息。最终，作者期望通过持续引入神经科学先验理论，推动构建更加鲁棒且具有生物可解释性的类脑人工智能模型 。

引用本文

Lingxiao Yang, Hui Zhen, Le Li, et al. Functional diversity of visual cortex improves constraint-free natural image reconstruction from human brain activity. Fundamental Research. 5(6) (2025) 2639-2648.

原文链接：https://www.sciencedirect.com/science/article/pii/S2667325823003059

关于Fundamental Research

Fundamental Research是由国家自然科学基金委员会主管、主办的综合性英文学术期刊。创刊于2021年，期刊立足反映国家自然科学基金资助的优秀成果，全方位报道世界基础研究前沿重要进展和重大创新性成果，提升中国基础研究和中国科学家在国际科学界的显示度和影响力，为中外科学家打造一个高端的国际学术交流平台。内容涵盖数学物理、化学化工、生命科学、地球科学、工程与材料科学、信息科学、管理科学、健康医学、交叉科学等领域，设置Article、Review、Highlight、Perspective、Commentary、Letter和News&Views等栏目。期刊已被ESCI、Scopus、DOAJ、PubMed、CAS（美国化学文摘社）、CSCD（中国科学引文数据库）、CSTPCD（中国科技论文与引文数据库）等国内外知名数据库收录。2024年影响因子6.3，位于综合性期刊Q1区。2024年入选中国科技期刊卓越行动计划二期英文梯队期刊项目。2025年入选《FMS管理科学高质量期刊推荐列表》B区。欢迎广大科研工作者关注、投稿、引用！