科研成果创新程度的评价目前来看很重要，但是老是看起来有很大的主观性。从潜在的作用来说，它不只是科研人员优化研究方向的“风向标”，更是相关部门制定政策、科研机构规划研究、投资机构评估风险的“金标准”。但现在，光靠专家评审的老路子，问题也越来越突出。人为因素可能导致的评价偏差，跨学科领域能力的评估盲区，效率也很低下。近年来，新兴技术迭代太快指标体系又跟不上，都让客观量化创新变得异常艰难。怎么打破 “人为主观” 的限制，构建一套高效、精准的科技评价体系看来还得另寻出路。。

近两年，大语言模型的出现，似乎给科学创新性的评价带来了一种非常有趣的方法。作为人工智能领域的重要进展，大语言模型具有强大的自然语言处理、知识推理和跨模态数据整合能力，控制的好能从海量科技文本中剥离主观描述，提取客观的技术特征，从而实现对创新价值的深度解读。更重要的是，大语言模型几乎囊括了人类已知的自然科学知识，这使得它在进行科技评价时，能以前所未有的全面性覆盖各个知识维度。相比之下，即使是最资深的专家，在知识的广度和覆盖度上，也难免存在局限性。这就像让一个经验极其丰富的研究者，面对一个完全陌生的交叉学科项目，可以说，即使他能判断研究的价值，但对技术细节的理解和评价可能也会有所欠缺的。而大语言模型，则能通过其海量的知识储备，有效弥补这种知识维度的不足，从而做出更客观、更全面的评价。

 去年，我尝试构想了一种利用大语言模型进行科研成果评价的方法，构建出一个李氏创新指数（Lee’ Innovation Index，LII）。大致的流程如下：

首先，对待评价科技成果的技术描述文本进行信息提炼和客观化处理，并构建跨学科知识图谱以量化跨学科贡献，这就像是为评审专家准备了一份详尽且客观的背景资料；随后，根据技术内容确定评价领域，并将处理后的文本、领域及指标输入预训练的大语言模型；接着，通过提示词指导大语言模型进行创新性评价，同时利用知识图谱分析领域交叉度，并借助强化学习算法动态调整评价指标权重，最终给出 0.00~100.00 分的创新性量化评分。

这个过程实际上是将专家经验与计算机算法相结合，从而实现更客观、高效且可复现的评价，为解决当前科技评价困境提供了一个新的思路。为了让这个新方法体系更加客观、稳定和标准，我尝试用专利文件的形式将其固定化，增加各个案例之间的评价过程的稳定性和可比性。这种方法很容易实现自动化。哪天有好事者，投入一些资金就可以把地球上所有的文献科技文献资料都给他打上一个分数，这不比那些自我参考的引用率的内涵要强的多吗？下面可以看几个从专利文件里边摘录出来的例子。

例一、化学领域科技成果创新性评价

S1   待评价科技成果信息

技术名称：一种新型有机催化剂及其合成方法。

技术描述：该新型有机催化剂是一种基于三氮唑环的新型配体，能够高效催化Suzuki偶联反应。该配体具有良好的稳定性、高活性和优异的立体选择性，催化反应的产率和选择性均高于现有技术水平，而且该新型配体可以利用简单的原料合成，成本低廉。

S2   信息提炼与客观化处理

(1)   提取关键信息：三氮唑环配体、Suzuki偶联反应、高稳定性、高活性、高立体选择性、产率高、选择性高、成本低。

(2)   去除评价性词汇：“新型”、“高效”、“优异”等。

(3)   技术特征验证：检索相关文献和专利，验证三氮唑环配体在Suzuki偶联反应中的应用情况，以及该配体合成方法的真实性。

S3   构建跨学科知识图谱

(1)   利用大模型提取关键词，构建知识图谱，关联三氮唑环配体、Suzuki偶联反应、有机化学、催化化学等节点。

(2)   分析该技术与其他化学反应、配体、催化剂的关联关系。

S4   选定评价领域与指标

(1)   评价领域：有机化学、催化化学。

(2)   评价指标：技术创新性、催化活性、选择性、成本效益、绿色环保性。

S5   创新性定量评价与动态权重分配

(1)   输入：客观化处理后的技术描述文本、评价领域、评价指标。

(2)   提示词：“请评估这项技术在有机化学、催化化学领域的创新性，重点评估其配体的新颖性、反应的催化活性和选择性，以及成本效益和绿色环保性。请结合知识图谱分析该技术与其他技术的关联关系，并根据历史评价数据动态调整评价指标的权重。输出一个0~100的得分，保留两位小数。”

(3)   大模型评价结果：LII 90.12分。

S6   结果分析

(1)   大模型认为该技术在有机化学和催化化学领域具有很高的创新性，主要体现在三氮唑环配体的独特设计和在Suzuki偶联反应中表现出的高活性、高选择性。

(2)   知识图谱分析表明，该技术与绿色化学理念密切相关，具有良好的发展前景。

(3)   强化学习算法根据历史数据调整了成本效益和绿色环保性指标的权重，使得评价结果更加客观。

例二、传统蓝牙耳机改进型设计评价

S1   待评价科技成果信息:

(1)   技术名称：一种改进型蓝牙耳机，采用Type-C接口，并增加了电池容量。

(2)   技术描述：该蓝牙耳机在传统蓝牙耳机基础上，将充电接口改为Type-C接口，并且将电池容量从300mAh增加到500mAh。功能与传统蓝牙耳机无异，旨在提升用户体验。

S2   信息提炼与客观化处理:

(1)   提取关键信息：Type-C接口，电池容量增加，蓝牙耳机。

(2)   去除评价性词汇：“改进型”,“提升用户体验”。

(3)   技术特征验证：检索Type-C接口在音频设备的应用、大容量电池在小型设备的使用等，确认这些均为成熟技术。

S3   构建跨学科知识图谱:

(1)   利用大模型提取关键词，构建知识图谱，关联蓝牙技术、Type-C接口、电池技术、音频设备、消费电子等节点。

(2)   分析该技术与更先进的音频编解码技术、无线充电技术、主动降噪技术的差距。

S4   选定评价领域与指标:

(1)   评价领域：消费电子、音频设备、蓝牙技术。

(2)   评价指标：技术创新性，便利性提升，续航能力提升，成本控制。

S5   创新性定量评价与动态权重分配:

(1)   输入：客观化处理后的技术描述文本、评价领域、评价指标。

(2)   提示词：“请评估该蓝牙耳机在消费电子、音频设备、蓝牙技术领域的创新性，重点评估Type-C接口的采用是否带来实质性创新，以及电池容量增加是否显著优于现有产品。对比分析其与市场上主流蓝牙耳机的功能差异。输出一个0-100的得分，保留两位小数。”

(3)   大模型评价结果：LII 15.28分。

S6   结果分析:

(1)   大模型认为该技术在消费电子领域几乎没有创新性，Type-C接口和增加电池容量均为成熟技术。

(2)   知识图谱分析表明，该技术与更先进的音频编解码技术、无线充电技术等存在明显差距。

(3)   市场调研表明，类似设计的蓝牙耳机在市场上竞争激烈，并没有明显优势。

(4)   成本效益分析表明，成本增加可能导致产品价格竞争力下降。

例三、改进型空气净化器评价

S1   待评价科技成果信息:

(1)   技术名称：一种改进型空气净化器，增加了UV杀菌功能和PMS25实时显示功能。

(2)   技术描述：该空气净化器在传统HEPA过滤基础上，增加了UV紫外线杀菌功能，以及PMS25实时显示功能，旨在提升空气净化效果和用户感知。

S2   信息提炼与客观化处理:

(1)   提取关键信息：UV杀菌，PMS25显示，空气净化器。

(2)   去除评价性词汇：“改进型”,“提升”。

(3)   技术特征验证：检索UV杀菌在空气净化领域的应用效果，以及PMS25显示技术的原理，确认其可行性。

S3   构建跨学科知识图谱:

(1)   利用大模型提取关键词，构建知识图谱，关联空气净化、UV杀菌、传感器技术、环境工程、健康、家居电器等节点。

(2)   分析该技术与更先进的过滤技术（如静电吸附）、更智能的控制系统、更全面的污染物监测技术的差距。

S4   选定评价领域与指标:

(1)   评价领域：环境工程、健康、家居电器。

(2)   评价指标：技术创新性、净化效果、杀菌效果、用户体验、能效比。

S5   创新性定量评价与动态权重分配:

(1)   输入：客观化处理后的技术描述文本、评价领域、评价指标。

(2)   提示词：“请评估该空气净化器在环境工程、健康、家居电器领域的创新性，重点评估UV杀菌功能和PMS25实时显示功能是否带来实质性的净化效果提升和用户体验提升，以及与现有技术的差异。输出一个0-100的得分，保留两位小数。”

(3)   大模型评价结果：LII 45.70分。

S6   结果分析

(1)   大模型认为该技术在空气净化领域具有一定的创新性，UV杀菌和PMS25显示可以提升净化效果和用户体验，但提升效果有限。

(2)   知识图谱分析表明，该技术与更先进的过滤技术、更智能的控制系统等存在差距。