|||
2017年在由Nature出版集团(NPG)、莱顿大学科学和技术研究中心(Leiden University)、科睿唯安(Clarivate Analytics)和欧洲生命科学组织(EMBO)联合举办的研讨会上提出了创建新指标。
学术出版界需要一套更广泛、透明的指标来改善科学出版,呼吁应致力三项基本要素:扩大指标以涵盖学术期刊的所有功能;一套管理指标使用的原则;以及建立一个管理机构来维持这些标准及其相关性。 来自学术生态系统的二十多位专业人士参加了此次活动。
由于期刊正迅速发展且成为传播信息、方法和其他数位物件的平台,因此创建新指标尤为重要。而目前的期刊影响系数(JIF)主要基于引用功能,只显示期刊功能的部份面向。
来源:Nature, David Parkins
《旧金山研究评估宣言》(DORA)批评使用JIF作为个人研究论文或研究人员质量的替代衡量标准,目前已有1356家机构和14000多名个人签署了该宣言。这项莱顿宣言制定了更普遍的评估原则,已被翻译成23种语言。尽管有这些举措,JIF的影响力仍然占主导地位。因此此次会议提出了更细致的指标,它们将显现期刊在所有面向中的作用。
莱顿宣言
例如,可以考虑编辑委员会的专业知识和多样性,以及提交论文的接受率和接受标准的透明度。随着开放科学和独立分析的发展,围绕数据的指标(如数据引用或报告标准)将变得更加重要,评估指标可以考虑过程的透明度、同行评审人员的数量和多样性及其及时性。
改进的新指标应该是具有以下标准:有效的(反映所测量的概念)、可以理解的、透明的(应公布资料基础标准,明确说明限制及不确定程度)、公平的(应避免系统性偏差)、易于调整的(当偏见、滥用或其他弱点变得明显时可更新)、可再生的(使用指标的人能够再产生该指标)。即使研究出版发生变化,这些标准也会使用。
而为了防止指标滥用,NPG提议指标使用应符合四大原则:合乎情理的、符合情境和实际的、充分知情的、负法律责任的。
所有利益相关者都有责任以不同的方式构建和使用该指标。因此他们也建议建立一个包容性的管理组织,专注于期刊指标,该机构可以提出新的指标来处理学术期刊的各种功能,就其负责的使用提出建议并制订标准、制作教育材料、作为人们宣传有关指标的可疑用法和良好做法的场所、例如指标的传播和使用方面的培训,同时可以帮助保护研究人员免受低质量期刊的侵害,就OA开放获取出版和资料分享提供指导。
最后,他们提议建立一个监管机构,由监管机构提出新的评价方案,以覆盖学术期刊的各种职能,同时制定合理使用的标准,并计划在2020年的第二次研讨会上启动该监管机构,达成目标。
批评人士反驳称,任何激励机制都容易收到资金博弈的影响。然而,大家都希望这里所阐明的原则能够阻止病态的指标。此外,所设立的多指标共同评估远比目前的单指标评估困难的多。科学出版正在发挥新的作用,并且对公众更加开放。新一代的期刊指标必须支持出版商的多样化角色,并激励他们取得更好的成绩。
关于“莱顿宣言”的十条原则
第一,量化的评估应当支持而非取代质化的专家评审
第二,科研绩效的考量应基于机构、团队、以及个人的科研使命
第三,保护卓越的本地化的相关研究
第四,保持数据采集和分析过程的公开、透明和简单
第五,允许被评估者验证数据和分析
第六,考虑发表和引用的学科差异
第七,对个人研究的评价应基于其综合作品的质性评价
第八,应避免评估指标的不当的具体性和虚假的精确性
第九,识别认清评价指标对科研系统的影响
第十,定期审查评价指标并加以改进
参考文献:
https://www.nature.com/articles/d41586-019-01643-3
http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/leiden_manifesto_chinese_150423.pdf
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-15 21:21
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社