说明：本博客与微信公众号《林墨》同步更新，所有内容均为原创，可授权转载。请扫码关注《林墨》公众号。

英国国家健康研究所（National Instituteof Health Research，NIHR）在其内部的基金评审和科学评价的过程中广泛使用了文献计量指标。最近，Scientometrics上的一篇文章采用半结构化访谈的方式，对于应该如何恰当使用文献计量指标辅助决策做出了详细的解释。

编译作者：步一 /Indiana University         原文作者：Gunashekar,S., Wooding, S., & Guthrie,S.

论文推荐人：张琳 / 华北水利水电大学        图文编辑：李江 / 浙江大学

注：图片来源于必应

能否用文献计量指标辅助决策？

绝大多数受访者认为，文献计量指标作为评价工具是具有使用价值的，特别是在评委会成员召集开会之前的各自评价阶段。评审分两个阶段：第一阶段是所有评委会成员拿到被评审人材料各自分别进行评价，称之为individual assessment，这是第二阶段的准备；第二阶段是评委会成员召集开会并进行讨论，最终作出代表整个评审委员会的决定。这两个阶段的评审类似中国的科学基金项目评审过程中的盲审与会评。受访者也强调不能“唯计量指标论”——文献计量指标应当和其他评价标准（例如质性层面的同行评议和案例研究等等）共同使用，相互补充。

文献计量指标会干扰决策吗？

在评审会成员召集开会以便做出决策的时候，评审会成员的意见其实已经结合了文献计量指标的结果；或者说，他们的意见已经被这些指标的硬性计算结果所左右。因而往往在他们会评时，文献计量指标的硬性评价结果往往会作为讨论的基点，并很有可能影响讨论和结果的导向。

何时展示文献计量结果？

访谈显示，评审会成员希望在开会前收到文献计量评价的结果，也希望在会前的成员各自评价阶段（第一阶段）或者会上讨论阶段（第二阶段）询问有关计量指标和数据的问题。不过，鉴于文献计量指标和结果主要在成员各自评价阶段起作用，计量分析这一方法不应当替代申请人的申请材料和其他细节。

哪些文献计量指标最有用？

访谈结果显示，在所有常用的文献计量指标中，评审会成员认为最有用的主要有两类：第一是高影响力出版物相关指标，第二是标准化的被引次数（这一指标主要采用某作者的总被引量除以所在领域每位学者总被引量的平均值，再除以所在年龄段每位学者总被引量的平均值）。关于期刊影响因子，不同的受访者有不同的观点。有的受访者认为这一指标不能真实反映申请人的水平和影响力，所以他们可能更倾向于看期刊的名字来作出决策。本质上这种方法是根据期刊的“口碑”进行评价，特别是在某些口碑或名声较好但影响因子却因为种种原因并不突出的期刊上发表论文的申请人。

此外，一些评审团成员希望加入一项新的目前并未广泛采用文献计量指标，用来评价申请人研究的“可用性”。

申请材料中要不要提文献计量指标值？

申请人的报告中过多的信息可能会起到反作用。访谈显示，评审会成员并不喜欢材料中有较多的文献计量信息。一个可能可行的做法是不在申请报告的正文中提及过多的文献计量信息，而是单独提交一个文档包含这些信息供评审会成员参考。同时，评审会成员希望看到申请人自己列出并在申请报告或表格中强调其满意并且质量较高的论文。

对文献计量指标有何顾虑或担忧？

访谈期间，受访者提出了他们的一些忧虑。首先，并非所有评审团成员都熟悉文献计量指标，他们可能会担心不同学科的申请人进行比较时是否公平等问题；因此，他们很乐于在评审过程中了解这些指标的本质含义和应用方式，特别是这些指标的“标准化”（normalization）过程。另外，指标使用过程中不同性别、不同年龄的申请人是否公平还有待商榷和讨论。有些受访者还提到，担心某些评审团成员会在评审过程过于依赖计量指标而影响他们的判断。

Gunashekar, S., Wooding, S., &Guthrie,S. (2017). How do NIHR peer review panels use bibliometric informationtosupport their decisions? Scientometrics, 112, 1813-1835.