引用本文请注明出处

作者：Research Information               译者：檀湘琦     校译：李静涵

来源：https://www.researchinformation.info/feature/challenge-measuring-scholarly-communication

David Stuart写道：衡量研究的新方法是否更加真实地描绘了学术交流的情况?

近几十年来，学术交流发生了巨大的变化，对其衡量方法产生了重大影响。

通信的数字化转型不仅使可收集的数据量迅速增加，也使研究本身发生了变化。

正如科学信息研究所（Institute for Scientific Information，ISI）的首席科学家Jonathan Adams所指出的，现在有更多的国家在英文期刊上发表文章，出现了新的学术期刊、新的研究领域和子领域。同时学术研究也呈现出国际合作增多、向北美研究文化转变以及较短的期刊文章集中于一个关键元素的趋势。这一切都影响着对学术研究的衡量。

然而，最大的变化在于人们想要衡量的范围扩大了。人们已经从纯学术质量角度更多地转向从社会和经济角度来衡量研究成果。

正如Emerald出版社的首席执行官Tony Roche所说的那样：“资助者和政策制定者们想要看到的不仅仅是单纯的学术影响力。他们希望从研究中看到更多超越学术的东西，而不仅仅是优秀的研究本身。毋庸置疑，优秀的学术研究是基本和关键，但研究人员同样需要证明他们的研究工作如何超越学术本身。”

超越文献计量学与引文分析

想要衡量研究在学术之外的影响是完全可以理解的。政府和纳税人也希望知道财税是否能够物尽其用。

然而，正如Adams所说，关键问题在于没有像被引次数一样衡量社会影响的合适指标，而且衡量社会影响的时间尺度要长得多。“目前确实缺乏适当的指标来衡量学术研究的社会影响力，其中部分是由于研究项目本身的性质。每个项目交付成果的方式都是独特的。学术研究的便利之处在于，一个学者会以论文的形式向其他学者报告，而这些论文如果被使用，就会被参考和引用，所以几十年来，被引次数通常被作为首选指标来衡量学术研究。”

“许多政策制定者认为可以在其他研究领域找到类似的衡量指标，但我们之前并没有通过其他途径进行指标衡量的经验，缺乏指标构建的基础。如果你有思考研究和其影响广泛的成果之间的联系，会发现它可能是一个十分漫长且曲折的过程。当我们查看2014年英国卓越研究框架（The Research Excellence Framework，一种评估英国高等教育机构研究质量的体系）报告中与影响案例研究相关的初始研究时，发现其中一些研究已有20年的历史。”

当然这并不是说，没有超越传统文献计量学且有用又有趣的指标，只是这类指标离政府、政策制定者和相关机构想要用于评估的那种强有力的指标仍有一段距离。

正如Roche所解释的，在现存的期望指标中并没有一个放之四海而皆准的解决方案，但我们仍需要为特定的研究群体寻求合适的衡量指标。“出版商们现在正在公开出版速度、内容使用情况以及社交媒体关注度。最近，一些服务提供商和出版商开始关注政策影响与研究应用。”

 “这些举措都是有用的，作为推动学术交流评价的一份子，我们正在为客户、作者和研究人员提供更多的分析工具与服务。关键是我们需要与研究界密切合作。一切都是为了在对的领域创造对的资源，因为与影响因子这种通用指标不同，很多学术指标需要在相应的领域进行个性化打磨。”

 “遗憾的是，没有一个简单的公式可以用来衡量知识的传播力、影响力、动员力和对社会的影响。影响的过程远比用影响因子计算得来的衡量结果要复杂得多。”

 “我们都在寻找与文献计量学类似的解决方案，但我认为它并不存在。我们需要一种定量与定性相结合、更加细致和复杂的方法。将经典的量化措施与讲故事结合起来，围绕学术研究如何走向更广泛的社会进行叙述。但这并这不是单靠数字就能做到的。”

不切实际的期望

然而，目前的矛盾不在于指标不能说明哪些问题，而在于人们对指标应该能够衡量什么以及如何快速找到解决方案有很多不切实际的期望。

这不仅是因为政府希望能找到一种方法来提高纳税人从投资的研究项目中所获得的社会经济回报，也是社会使用指标整体转变的一部分，排行榜有望越来越多地比较和衡量不同类型的组织。在这种高期望的环境下，认为可以有意义地进行量化的内容或找到解决方案的速度可能是有限的这种想法是不可理解的。

不可避免地，当可靠的数据不容易获得时，会令人感到沮丧并导致投资不足。正如Adams所言：“一些人希望，或者说是一厢情愿地认为，只要给予学者和其他人一定的时间和压力，就可以得出一些现成的答案。但事实上，重视指标制定的投资非常少。”

 “政府没有能力去考虑这些指标如何制定、如何演变以及什么样的指标是适当和符合现实的。这项工作必须回归研究界本身，但政府不会这样做，除非他们可以参与到关于指标是如何运作、重点在哪以及能为社会带来什么益处的这些问题的讨论中去。然而，政府与学界之间并不存在此类对话与合作。”

 “相反，政府只是发号施令，说着‘学术界应该在这方面做些什么，我们正在寻找指标，人们期待着这些东西的产生’，但是这样无济于事。我们需要有更多的力量参与进来才有可能取得新的进展。而且必须要认识到实际成果会与预期有所差异，也不会有一套简单的万能指标能够满足所有人的需求。”

Adams还说：“人们追求简单快速的答案，这里有一个重要问题需要解决，即为研究投资究竟为纳税人带来了什么。解决这个问题并没有捷径可走，唯一正确的评估方法就是投入时间、精力和资源，实际开发出一条恰当的路线图并规划如何实行。目前政府没有足够充裕的时间来对待这一问题。”

当然，一个指标一经推出，可能很快沦为无用的指标。人们需要时间来观察学术界对新指标的反应，不同的机构和组织预算水平不同，可以最大限度地引入新指标的能力也参差不齐。

正如Roche指出的：“举例来说，如果你把指标和社会覆盖率及影响力放在一起，有些人就会质疑说那些有最多营销预算的研究人员才有让社会影响力最大化的机会。这引起一个思考，即这些指标是否真实有效地证明了研究的社会影响力，还是说明了全球北方（代指发达国家）那些研究密集型机构中资金雄厚的研究人员拥有更多的资源，并可以利用这些资源来加强叙事？”

从简单的数字入手，继续前进

尽管现实中仍存在一些不切实际的期望，但还是有采取措施的余地。这些措施正在逐步实行，以便人们对学术交流有更加深入的了解。正如学术出版界在过去30年中面对众多变化的应对方式所显示的那样，它可以对社会需求做出非常积极的反应。

正如Roche所指出的那样，虽然目前人们对研究指标有不切实际的期望，但如果研究部门共同努力，还是存在以更加复杂的方式开发新指标的绝佳机会。“我们的使命是营造一个公平公正的环境，以便所有的研究者都能参与其中，产生影响，并通过他们的工作创造变化，继续前进，而不是仅仅只能发表论文。”

 “我们在2018年发布了一个影响力宣言，其中核心要义是倡导传统学术评估指标及激励机制的更新。今年早些时候（2022年7月初）我们重新发布了这一宣言，承诺进行6项新的变革。这将推动围绕学术文化、研究评估以及激励机制的持续讨论，并通过‘Are you in’活动呼吁全行业的加入。”

“我们在2018年签署了开放存取知识库目录（Directory of Open Access Repositories，DOAR），我们支持真正促进公平评估的举措和倡议。比如The Hidden REF倡议不仅承认所有研究成果，也给予那些往往被忽视、直接或间接为研究做出贡献的人以认可。我们现在已经有一个真正展示和奖励创新研究的激励计划。这些创新研究不仅包括已发表的高被引文章，还包括那些实际上在学术界之外产生积极社会影响的研究。”

“我们设计这个平台旨在承载超越科研论文本身的内容，但研究界仍然依据论文或著作予以奖励。如果他们可以利用视频资产来获得特定利益群体的认可，便可以使理论落地，并且带来真正的改变，这就是研究指标的有趣之处。当身边人与你一同参与时，技术就会变成解决方案的一部分并发挥应有的作用。”

 “我们也在与其他出版商合作，现实竞争非常激励，但我们终究是为同一个研究群体服务，因此合作是必要的。倘若我们能够帮助制定这些领域的评估标准，研究人员也会更容易接纳，那么所有人都将成为赢家。”

随着收集的数据量增多，我们对学术交流的复杂性有了更全面的理解，不可避免地需要我们寻求新方法来表示这些数据以及它们的复杂程度。

正如Adams所指出的那样：“人们逐渐从仅仅依靠数字表格分析转变为依靠图形、图片分析，因为图片可以提供更多关于现实的有用信息。一张包含多个指标的图片是让人们了解研究环境复杂性的唯一方法。”

总结

从想要了解研究的学术影响力到还希望了解研究的社会经济影响力是一种积极的转变。毫无疑问，人们如今能够获取到比以往任何时候都要庞大的数据量，但是否能够以此更加接近学术交流的真实情况仍然存疑。

由于政策制定、管理决策以及日益普遍的排行榜的原因，过度降低研究生态系统复杂性的诱惑总是存在的，但解决衡量研究影响的问题并没有捷径。

有意义的衡量指标必须反映出学术研究的复杂性和多样性。只有当整个行业共同努力，并发现各自研究领域的关键要素时，新的衡量指标才会出现。

距离得到最终简单的答案还有很长的路要走，但我们对问题复杂性的认知已逐渐加深。