博文

机器学习模型有效性的十个技巧

已有 1276 次阅读 2024-10-28 19:51 |个人分类:科普|系统分类:科普集锦

机器学习模型有效性的十个技巧

机器学习(Machine Learning，ML)和人工智能(Artificial Intelligence，AI)技术的快速发展引发了各个领域的变革性革命。复杂算法、强大计算能力和丰富数据的融合将这些技术推向了创新的前沿，对生物医学、健康和技术等领域产生了重大影响。ML和AI日益增长的重要性可以归因于它们在破译复杂模式、提取有价值见解和自动化决策过程方面无与伦比的能力。

人工智能/机器学习模型越来越多地应用于生物医学和健康数据。这些模型可用于揭示生物学机制、预测疾病结局和支持临床决策。例如，我们在蛋白质结构预测和临床决策支持方面取得了一些显著的成功，但也存在挑战和不太理想的结果。例如，在药物靶标预测中，IBM Watson在简化和加速药物发现过程方面没有达到预期。在Meta分析中，由于随机特征可替代性和Rashomon集合中存在许多高性能模型等问题，AI模型无法产生高质量的解释。

AI和ML最终都是工具。这些工具的有效性取决于人类用户构建和利用它们的能力。目前的文献提供了在化学科学、COVID-19数据等不同领域使用ML模型的一般指南，更多地关注输入数据、泄漏、可重复性、类不平衡、参数调优、合适度量标准选择。不幸的是，关于高质量训练数据集的创建、训练模型评估以及在现实世界中解释模型性能的校准，明显缺乏最佳实践。最近，Goh等人描述了10个技巧，作为填补这一空白的初步步骤(图1)，并且探讨了这些技巧对开发人员和用户的影响。

图1 建立AI或ML模型有效性的10个技巧。数据技巧包括设计训练集和验证集的注意事项。处理技巧涉及特征选择、度量校准和数据的批量校正/规范化的方法。验证技巧侧重于用于评估模型所展示的学习质量的方法

技巧1:设计验证数据，覆盖足够多的各种挑战级别问题

技巧2:不要只报告整个数据结果。相反，要报告每个挑战级别的结果

技巧3:明确有价值的学习点

技巧4:考虑数据的代表性

技巧5:考虑批处理效果和跨样本归一化方法的影响

技巧6:不要仅仅依靠你的数据进行特征选择，务必使用先验知识

技巧7:校准受类比例不平衡影响的指标

技巧8:对最先进工具进行基准测试

技巧9:对零模型进行基准测试

技巧10:在异构数据集上验证模型

为AI/ML模型采用鲁棒的模型评估技术可以节省时间、精力和资源，但也可以产生有用的见解并提高可信度。为了解决验证框架的缺乏，作者们提出了10个技巧，以作为生物医学科学中更好的模型验证实践的起点。除了关于如何验证模型的技巧之外，采用其他最佳实践，包括训练和验证数据之间没有泄漏，开放代码共享将有助于提高研究可重复性，增强模型可信度，并改善已发布模型。

参考文献

[1 Goh WWB, Kabir MN, Yoo S, Wong L. Ten quick tips for ensuring machine learning model validity. PLoS Comput Biol. 2024 Sep 19;20(9):e1012402. doi: 10.1371/journal.pcbi.1012402.

以往推荐如下：

1. 分子生物标志物数据库MarkerDB

2. 细胞标志物数据库CellMarker 2.0

3. 细胞发育轨迹数据库CellTracer

4. 人类细胞互作数据库：CITEdb

5. EMT标记物数据库：EMTome

6. EMT基因数据库：dbEMT

7. EMT基因调控数据库：EMTRegulome

8. RNA与疾病关系数据库：RNADisease v4.0

9. RNA修饰关联的读出、擦除、写入蛋白靶标数据库：RM2Target

10. 非编码RNA与免疫关系数据库：RNA2Immune

11. 值得关注的宝藏数据库：CNCB-NGDC