Transformer模型是一种新的机器学习模型，已成功应用于理解和生成自然语言（比如ChatGPT），也成功的用于多个生物医学领域（比如进行蛋白质结构预测的AlphaFold）。蛋白质序列上的错义突变是导致人类遗传病的主要元凶之一。本研究提出了一种基于Transformer架构的新方法MutFormer，用于预测有害的错义突变。通过对蛋白质序列、常见变异和有害变异的学习，MutFormer在多个独立测试集上均有优异的表现，可与现有方法互为补充，实现利用大语言模型为遗传病分子诊断提供新的工具。

T Jiang, L Fang TheInnovation创新 2023-10-10 00:02

图1 大语言模型助力遗传病分子诊断。利用强大的AI算力，MutFormer在预训练中学习了人类蛋白质序列（及其常见变体）中数千万种不同的上下文依赖关系，并且在后续的训练中学习如何识别有害错义突变。

在DNA中，每三个核苷酸构成一个密码子，对应一个特定的氨基酸。错义突变（Missense Mutation）是一种常见的基因突变类型，它是指DNA编码序列中的一个核苷酸被替换成了另一个核苷酸，引起蛋白序列中对应的氨基酸被替换。错义突变可能导致蛋白质功能异常，进而引起疾病或其他健康问题，是导致人类遗传病的主要元凶之一。然而由于遗传多态性，正常人群中存在着大量良性的错义突变。尽管多个数据库（如ExAC、gnomAD、ClinVar、HGMD等）中记录了大量良性或有害的错义突变，在遗传病分子诊断时，依然有很多错义突变无法在数据库中寻找到匹配。判断错义突变是否有害是当前遗传病分子诊断领域的一个主要挑战。

目前有多种预测错义突变是否有害的方法，然而其准确性有很大提升的空间。Transformer模型是一种序列模型，可以很好的学习和模拟序列中远距离的上下文依赖关系，最初应用于自然语言处理（Natural Language Processing, NLP）领域，在机器翻译、信息提取等多种任务上取得了良好的效果；近年来以GPT（Generative Pretrained Transformer）为代表的生成式Transformer模型在理解人类语言和人机对话方面取得了突破性进展。由于蛋白质存在三维空间结构，在一维结构中距离较远的两个氨基酸在三维空间中可能距离接近（即存在远距离相互作用），我们推测Transformer模型强大的上下文学习能力有利于模拟和预测蛋白质突变的功能。另一方面，卷积神经网络（convolutional neural network, CNN）可以很好的模拟短距离的依赖关系。相比Transformer模型的自注意力层（self-attention layer），卷积层往往具有更少的计算量和更高的执行效率。

基于上述分析，我们提出了MutFormer，一种预测有害错义突变的新模型。MutFormer利用自注意力机制和卷积机制各自的优势，学习蛋白质序列中氨基酸之间的长距离和短距离依赖关系（图2）。

由于已知的有害错义的突变数量（即训练样本数量）远远小于模型参数，为获得较好的训练效果和避免过拟合，我们采用迁移学习（transfer learning）的方法进行训练。我们首先在参考蛋白质序列和常见突变蛋白质序列上对MutFormer进行了预训练，使之学习正常蛋白序列中的上下文依赖关系。接下来，我们测试了三种不同的微调方法，发现微调时将突变蛋白序列和参考蛋白质序列配对输入可以取得最佳的预测效果。最后，我们将MutFormer与其他现有方法的性能进行了比较。我们发现，MutFormer在多个测试集上均有优异的表现。综上所述，MutFormer采用了以往研究中未涉及的序列模型，为有害遗传变异的预测提供了新的思路，为遗传病分子诊断提供了有利的工具。

图2 MutFormer的训练方法与模型结构

本文内容来自Cell Press合作期刊The Innovation第四卷第五期以Article发表的“Deciphering 'the language of nature': A transformer-based language model for deleterious mutations in proteins” (投稿: 2023-02-09；接收: 2023-07-25；在线刊出: 2023-07-27)。

DOI: https://doi.org/10.1016/j.xinn.2023.100487

引用格式：Jiang T., Fang L., Wang K. (2023). Deciphering "the language of nature": A transformer-based language model for deleterious mutations in proteins. The Innovation. 4(5), 100487.

原文链接：https://www.cell.com/the-innovation/fulltext/S2666-6758(23)00115-7

扫二维码｜查看原文

通讯作者简介