小编导读

医学影像数据包含了患者丰富的健康信息，是临床上多种疾病早期筛查，鉴别诊断和治疗的关键依据。随着医学影像技术的飞速发展，医学影像数据呈指数性增加，给临床和放射科医生带来了巨大的诊断压力和报告撰写负荷。如何有效的提取出影像中有价值的信息来辅助影像诊断和报告撰写是一项巨大的挑战。来自中国医学科学院医学信息研究所的研究学者们在期刊Journal of Artificial Intelligence of Medical Sciences(eISSN 2666-1470)上发表了题为“TMRGM: A Template-Based Multi-Attention Model for X-Ray Imaging Report Generation”的文章，提出了一种基于模板的多注意力机制模型（TMRGM）自动生成胸部X线影像报告。

要点介绍 

医学影像数据是疾病早期筛查、诊断和治疗的重要依据。在临床上，专业放射科医生需要根据经验回顾和分析医学图像，然后描述成像结果并将诊断结论写在报告中。然而，医学影像数据的快速增长给放射科医师的影像读写带来了繁重的工作量。如何帮助医生进行医学图像的判读，已成为计算机面临的一项重要而富有挑战性的任务。

本文旨在从医学图像中自动提取有价值的信息，帮助医生进行胸部X线影像的判读。针对不同人群的报告中不同的语言和视觉特征，分别针对健康人群和异常人群，提出了一种基于模板的多注意力机制医学影像报告生成模型（TMRGM）。

在本研究中，我们基于IU X-ray实验数据集来验证TMRGM模型的有效性。实验结果表明，我们所提出的TMRGM模型能够较好地模拟报告生成过程，在临床应用中有很大的改进空间。

本文的主要贡献总结如下：

(1）提出了一种新的基于模板的多注意力机制医学影像报告生成模型（TMRGM）；

(2）为了生成健康人群的胸部X射线成像报告，我们人工构建了一个胸部X射线报告模板库；

(3）通过协同注意机制和自适应注意机制，结合图像特征和文本特征生成异常个体的胸部X线影像报告。该模型可以根据图像特征、句子主题或文本特征自动选择生成报告文本；

(4）基于公开的IU X-ray数据集验证了胸部病变识别和报告生成的性能。

图1. 基于模板的多注意力机制影像报告生成模型（TMRGM）流程框架图。

研究结论：本文在系统回顾胸部病变识别和医学影像报告生成的基础上，提出了一种基于模板的多注意力机制模型（TMRGM）自动生成胸部X线影像报告。通过探讨报告文本的语言特征，分别对健康个体和异常个体实现了不同的报告生成方法，并基于IU X-ray数据集验证了TMRGM的有效性。它有助于放射科医生快速确定胸部病变，并编写高质量的胸部X线报告，减轻了他们的影像读写负担。

参考文献 References

[1] Interagency Working Group on Medical Imaging Committee on Science, National Science and Technology Council, Roadmap for Medical Imaging Research and Development, 2017, 1-19.

[2]  Y. LeCun, Y. Bengio, Convolutional networks for images, speech, and time series, in: M.A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, vol. 3361, MIT Press, Cambridge, MA, USA, 1995.

[3]  G.S.Lodwick,Computer-aideddiagnosisinradiology.Aresearch plan, Invest. Radiol. 1 (1966), 72–80.

[4]  Z.C. Lipton, J. Berkowitz, C. Elkan, A critical review of recur- rent neural networks for sequence learning, Computer Science, 2015.

[5]  L. Ebner, M. Tall, K.R. Choudhury, et al., Variations in the func- tional visual field for detection of lung nodules on chest computed tomography: impact of nodule size, distance, and local lung com- plexity, Med. Phys. 44 (2017), 3483–3490.

[6]  W. Sun, B. Zheng, W. Qian, Automatic feature learning using multichannel ROI based on deep structured algorithms for computerized lung cancer diagnosis, Comput. Biol. Med. 89 (2017), 530.

[7]  W.Sun,T.B.Tseng,J.Zhang,etal.,Enhancingdeepconvolutional neural network scheme for breast cancer diagnosis with unlabeled data, Comput. Med. Imaging. Graph. 57 (2017), 4–9.

[8]  A.Masood,B.Sheng,P.Li,etal.,Computer-assisteddecisionsup- port system in pulmonary cancer detection and stage classifica- tion on CT images, J. Biomed. Inform. 79 (2018), 117–128.

[9]  C.Wang,A.Elazab,J.Wu,etal.,Lungnoduleclassificationusing deep feature fusion in chest radiography, Comput. Med. Imaging. Graph. 57 (2017), 10–18.

[10]  P. Kisilev, E. Walach, E. Barkan, et al., From medical image to automatic medical report generation, IBM J. Res. Dev. 59 (2015), 2:1–2:7.

【更多参考文献信息请扫描下方二维码查看原文】

原文信息

X. Wang, Y. Zhang, Z. Guo, J. Li， "TMRGM: A Template-Based Multi-Attention Model for X-Ray Imaging Report Generation", Journal of Artificial Intelligence for Medical Sciences, 2021, DOI: 10.2991/jaims.d.210428.002.

扫描二维码，获取英文原文

https://www.atlantis-press.com/journals/jaims/125956175

关于期刊

Journal of Artificial Intelligence of Medical Sciences (JAIMS，eISSN 2666-1470）是一本国际性的、经过严格同行评审的开放存取期刊，刊载人工智能在医学、医疗保健和生命科学所有交叉学科方向的理论，方法和应用的研究。编辑团队尤其欢迎在机器/深度学习、数据科学、自然语言处理(NLP)等支持下，为医学诊断、药物开发、护理、精准治疗等领域提供最近见解的原创性研究文章、综合评论、通信和观点。 

JAIMS 由荷兰阿姆斯特丹自由大学黄智生教授担任创刊主编，来自八个国家的36名领域一流学者担任首届编委会，致力于将期刊打造为医学人工智能领域的首选阵地和开放科学平台。文章成果版权作者保留，不收取任何费用。欢迎各位专家投稿！

版权声明：

 *本文内容由Atlantis Press中国办公室翻译编辑。中文内容仅供参考，一切内容以英文原版为准。如需转载，请在评论区留言，或联系xin.guo@atlantis-press.com。

Atlantis Press是科学、技术和医学（STM）领域的全球开放获取出版品牌，2006年创立于法国巴黎，在巴黎、阿姆斯特丹、北京、郑州和香港设有办事处。我们的使命是通过促进科研界和整个社会更有效地传播和交流知识来支持科学、技术和医学研究的进步。迄今，Atlantis Press的数字内容平台包含超过14万篇开放获取论文供读者免费下载阅读，每年产生2500多万下载量。Atlantis Press是施普林格·自然的一部分。