目前，在多个通用领域，大语言模型（LLM）已经展现出在处理和分析大规模数据集方面的巨大潜力。然而，这些模型在面对特定垂直领域的任务时，常常需要经过专门的调整才能达到最佳效果。提示工程（Prompt Engineering）指通过精心设计的提示或引导语句，以指导或优化大型语言模型的输出。在应对特定领域的任务时，提示工程相比指令微调（Instruction Tuning）和基于人类反馈的强化学习（RLHF），由于无需大规模数据标注和训练即可快速迭代优化模型表现，具有较低成本和更高的灵活性。

鉴于已有的提示工程方法大多为通用型设计，虽然在广泛的应用场景中表现出色，但在处理高度专业化的生化任务时，往往难以取得理想效果。清华大学王笑楠组突破性地将生化领域的专业知识融入提示工程，创新性地提出了嵌入领域知识的提示工程（Domain-Knowledge Embedded Prompt Engineering）方法，这是学界首个专门聚焦于生化材料领域科学任务的提示工程框架。该方法通过多专家混合形式，在LLM提示词中深度整合化学生物领域的专业知识与少样本链式思维（few-shot CoT）示范，能够显著提升模型的表现能力。相关研究以“Integrating chemistry knowledge in large language models via prompt engineering”为题，发表在Synthetic and Systems Biotechnology期刊上。

该研究搭建了一个提示工程基准数据集，基于公开数据库构建了总计1280个领域问题，涵盖有机小分子、酶、晶体材料的结构、物理化学性质等多个方面。该数据集不仅在本工作中有效评估了不同提示工程方法的性能，还更广泛地为研究者提供了一个统一的测试平台，用以横向比较各类提示工程方法在不同领域任务中的表现。该数据集目前已经开源，欢迎广大科研人员和从业者使用、优化，并贡献自己的方法进行测评，共同推动提示工程技术的发展与进步。

提示工程数据集的测试结果表明，作者提出的嵌入领域知识的提示工程在所有评估指标上均显著优于传统的提示工程策略，展示了卓越的性能提升。而在进一步的实证研究中，通过对MacMillan催化剂、紫杉醇和钴酸锂三项与诺奖级研究相关的复杂材料的案例分析，验证了该方法的实际应用价值。总体而言，嵌入领域知识的提示工程方法能够有效引导LLMs生成更为精准和相关的响应，展现了LLMs作为科学发现与创新工具的巨大潜力。未来，作者将继续探索领域特定提示工程的发展方向，并深入研究其在其他科学领域的广泛应用前景。

文章信息

Integrating chemistry knowledge in large language models via prompt engineering

Hongxuan Liu, Haoyu Yin, Zhiyao Luo, Xiaonan Wang

延伸阅读与参考

文章发布以来，各平台上的多位读者对本工作进行了精彩的评论，若感兴趣，可以参考以下链接以查看详细评论内容。除嵌入领域知识的大语言模型提示工程外，本课题组在AI4S方向的相关研究工作介绍也附于下。

评论文章链接：

课题组AI4S相关研究工作：

Synthetic and Systems Biotechnology是高质量国际开放获取期刊，创刊2016年。期刊覆盖合成生物学、系统生物学以及生物医药等领域。期刊现已被SCIE、EMBASE、PubMed Central、Scopus、CSCD等重要数据库收录。

• 2023 Impact Factor: 4.4; 位于Biotechnology & Applied Microbiology领域Q1区

• 2023 CiteScore: 6.9

• 位于《2023年中国科学院文献情报中心期刊分区表》生物学大类2区

• 入选2019年中国科技期刊卓越行动计划高起点新刊项目