林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

致谢信息用于科研评估

已有 8721 次阅读 2018-9-7 16:58 |系统分类:科研笔记

说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。

2.png

在大数据时代,越来越多的学者开始关注并使用致谢信息来分析基金使用绩效、合作者之间分工等科技政策领域的重要议题。但在实践中,应该如何正确检索、合理使用该部分信息?在分析讨论中又应注意哪些事项呢?

 

唐莉 / 复旦大学

胡光元 / 上海财经大学

刘维树 / 浙江财经大学


1.jpg

(插画师:何广生




科研奖励三角


在奖励三角“reward triangle”(作者署名、被引用、和被提名致谢)中,致谢是三者之中被科研评估研究长期忽视的议题。随着Web of Science(以下简称WoS)从2008年8月起系统地收录论文的资助信息,对科研成果致谢文本的分析(譬如基金项目标注、合作分工陈述、同行专家审稿致谢等)开始得到应用语言学、科技评价、以及信息计量领域学者的广泛关注。科研人员或使用该数据来比较中外语类结构潜势及其功能变体的异同;或分析合作者之间的具体分工架构;或跟踪基金资助的系列研究成果来评估科研资助对科研产出的影响[1-3]。但遗憾的是,目前学界研究还远跟不上实践需求,对该信息的使用假设、固有缺陷及存在问题的讨论更是罕见。

 

致谢数据中的偏差


JASIST上的一篇论文(ESI高被引论文)对学者最常使用的WoS三大核心数据库(SCIE-SSCI-A&HCI)所收录的2009-2014年期间的数据进行检索,从数据库收录特征、语言及文本内容三个视角对WoS的致谢信息进行分析[4]。研究首次明确提出:WoS 所收录的致谢/基金资助信息取决于三个因素:论文所在期刊是否被三库之一的SCIE 数据库收录、论文发表使用的语言、以及致谢中是否存在基金资助信息。

 

研究指出,除了1)资助机构与基金项目名称的拼写错误和变体;2)可能存在的漏报、多报或误报基金资助信息之外,WoS在收集致谢信息时还存在以下三类固有偏差:


首先,在三大核心数据库中,只有SCIE索引论文(即科技类论文)的基金致谢信息被系统收录,而仅被SSCI或A&HCI索引的论文(即人文与社科研究成果)的基金信息覆盖率极低;


其次,从语言分布上看,用英文或中文撰写论文的资金资助信息收录较全,相比之下其他语种该信息的覆盖率极低;


第三,在内容上没有科研基金项目资助内容的致谢信息,其整条致谢信息(如作者分工信息等)则都未被WoS数据库收录。


致谢应用于科研评估时的注意事项


基于研究发现,文末跳出数据窠臼,针对当前数据驱动的科研评估实践,提出了致谢内容分析适宜回答的问题和在研究应用中应注意的事项。论文提出:尽管致谢分析为评估科研基金绩效、合作分工、隐形作者等新研究议题打开了窗户,但研究者在使用WoS收录的基金信息进行分析时需要留意该数据本身的局限性和适宜使用的场景。


结合当前科研评估研究与实践,研究强调,单独使用WoS的基金资助信息不适宜评估基金对人文科学或社会科学成果的资助效果。对中文之外的其他非英语撰写成果的致谢分析,以及对致谢部分中其他内容(如具体合作分工细节)的分析,研究者均需补充或验证其他资料来确保数据代表性。

 

注:科睿唯安(原汤森路透)近期明确了SCIE数据库是自2008年(而SSCI则从2015年起)开始收录致谢信息。参见https://images.webofknowledge.com/images/help/WOS/hp_full_record.html

 

 

3.png

[1] Cronin, B. Let the credits roll: A preliminary examination of the role played by mentors and trusted assessors in disciplinary formation. Journal of Documentation, 47(3), 1991, 227–239.

[2] Costas, R., & Leeuwen, T.N. Approaching the “reward triangle”: General analysis of the presence of funding acknowledgments and “peer interactive communication” in scientific publications. Journal of the American Society for Information Science and Technology, 63(8), 2012, 1647–1661.

[3] Zhao, etc. Do funded papers attract more usage? Scientometrics, 115(1), 2018, 153-168.

[4] Tang, L., Hu, G., & Liu, W. (2017). Funding acknowledgment analysis: queries and caveats. Journal of the Association for Information Science & Technology, 68(3), 790-794. 

 




http://blog.sciencenet.cn/blog-1792012-1133444.html

上一篇:科学家流动的重心正在以每年70公里的速度向东方国家迁移
下一篇:论文离应用有多远?

5 唐莉 刘维树 黄永义 宁利中 shenlu

该博文允许注册用户评论 请点击登录 评论 (5 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2020-1-22 15:52

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部