Enhancing Orthopedic Knowledge Assessments: The Performance of Specialized Generative Language Model Optimization

作者：Hong ZHOU, Hong-lin WANG, Yu-yu DUAN, Zi-neng YAN, Rui LUO, Xiang-xin LV, Yi XIE, Jia-yao ZHANG, Jia-ming YANG, Ming-di XUE, Ying FANG, Lin LU, Peng-ran LIU, Zhe-wei YE

编辑导读

在人工智能技术飞速发展的今天，其在医疗领域的应用价值受到了广泛关注。特别是在骨科领域，如何利用AI技术提升诊疗水平和专业教育，成为了一个重要的研究方向。本期推荐的研究，通过构建专业的知识库并优化大型语言模型（LLMs），在骨科领域取得了显著的效果提升。研究团队来自华中科技大学同济医学院附属协和医院，他们不仅在临床实践中积累了丰富的经验，而且在智能医学领域也展现出了卓越的研究能力。本研究通过对比知识库优化与否的LLMs在骨科问题上的表现，为AI技术在专业医疗领域的应用提供了新的视角和方法论。

研究亮点

1. 构建了基于美国骨科医师学会（AAOS）临床指南和权威骨科出版物的专业知识库。

2. 对比了知识库优化与否的大型语言模型（LLMs）在骨科问题上的表现，发现优化后的模型在整体质量、准确性和全面性上均有显著提升。

3. 研究提供了AI技术在专业医疗领域应用的新视角和方法论，为未来AI技术在骨科临床实践中的应用提供了有价值的参考。

Hong ZHOU, Hong-lin WANG, Yu-yu DUAN, et al. Enhancing Orthopedic Knowledge Assessments: The Performance of Specialized Generative Language Model Optimization. Current Medical Science, 2024,44(5): 1001-1005. DOI: https://doi.org/10.1007/s11596-024-2929-4

文章简介

目的：本研究旨在评估和比较骨科领域知识库优化和未优化的大型语言模型（LLMs）的有效性，探索LLMs在特定领域应用的优化策略。方法：本研究使用美国骨科医师学会（AAOS）的临床指南和权威骨科出版物构建了专业知识库。共30个骨科相关问题，涉及解剖知识、疾病诊断、骨折分类、治疗选择和手术技术等方面，输入至知识库优化和未优化版本的GPT-4、ChatGLM和Spark LLM中，并记录其生成的响应。由3位经验丰富的骨科外科医生评估这些响应的整体质量、准确性和全面性。

结果：与未优化的LLMs相比，优化后的GPT-4在整体质量上提高了15.3%，在准确性上提高了12.5%，在全面性上提高了12.8%；ChatGLM分别提高了24.8%、16.1%和19.6%；Spark LLM分别提高了6.5%、14.5%和24.7%。

结论：知识库的优化显著提高了3个模型在骨科领域响应的质量、准确性和全面性。

因此，知识库优化是提高LLMs在特定领域性能的有效方法。