数字科学交流团队分享 http://blog.sciencenet.cn/u/dsc70 武大

博文

替代计量:将对计量手段的误解进行到底

已有 3721 次阅读 2014-7-21 20:56 |系统分类:科研笔记

 引用本文请注明出处:大卫·克罗地著;王慧译 刘遹菡校译. 替代计量:将对计量手段的误解进行到底[EB/OL].[2014-05-01 ]. 科学网,http://scholarlykitchen.sspnet.org/2014/05/01/altmetrics-mistaking-the-means-for-the-end/ 

   今年春天是属于替代计量的,至少对我来说确实如此。在过去的两个月里,我要么在主持关于替代计量和新型计量的会议,要么在就这一话题进行命题式会谈。我的商谈对象包括图书馆员、资助机构的代表、计量服务提供商的主管以及参与招聘和职业发展决策的学者。在替代计量的主题下,令人印象深刻的兴趣点是“讲述”。人们对学术研究中现行的理解和评估系统存在诸多不满,在“大数据”时代,使部分数据能够“物尽其用”的愿望理所当然。

但是问题仍然存在:究竟什么才是“用”?

当我们检验替代计量或者任何其他类型的计量时,都必须认真检查这些计量的描述从而分辨它们是否具备某些显著性。

人类的大脑喜欢模式。史蒂芬·杰伊·古尔德在他1988年那篇关于乔·.迪马济奥连续安打场次纪录的著名文章中曾谈到,看待模式的进化调整仍在持续地驱动我们看待世界的方式:

我们必须要有令人感到欣慰的答案。即使是在一个纯粹随机的世界里,我们也能看到模式,因为模式真实存在……我们的错误不在于对模式的认知,而在于机械地给模式赋予含义,特别是赋予其的能够给我们带来安慰、或消除困惑的含义……我们好像非得为模式赋予意义不可--而且我们喜欢的意义通常可以讲述有关英勇、果敢、卓越的故事

人类有一种想创造故事的天性。

 

利用可获得的数据然后了解它,从而进行模式展示,这就是个故事了。危险就来自于我们编故事的天性,即使这故事背后什么意义都没有,我们仍热衷于此。

 

   在如今的替代计量计量 环境中,很多数据的收集和呈现都基于关注度指标展开。许多人认为“替代计量”和“关注度计量(attentionmetrics)”是等同的。诚然,在线出版、社会媒体和互联网本身都使得对此类数据的获取极为便利。但关注度指标并不能等同于定性指标或价值指标。在像职业发展和投资这样的重大决定上,我们希望获知的信息是定性的判断(比如“这一结果很重要,这个人的研究非常出色”)


   近日,提供主要网络出版物实时数据的Chartbeat公司做了一项调研,它对20亿网络访问者在一个月内的用户行为进行了监测。其中一个重要发现是,大多数关于使用情况的统计数据——如页面访问量和点击率——毫无意义。在55%的情况下,读者在给定网页上花费的时间不超过15秒。

   

   第二个发现是,一篇文章是否通过社交媒介进行分享和这篇文章的关注度并无关联:

我们调研了10000篇通过社交媒介分享的文章,发现文章内容被分享的次数和读者对该篇文章内容的平均关注度之间并无关联……

总的来说,对社交共享进行计量对于理解社交共享很重要,但如果你想利用其推断什么内容能获得更高的读者关注则超出了数据的能力范围。社交媒介不是关注网络的良方

在我们考虑关注度指标的价值时,这应该能够起到警示作用。一篇文章有html视图就意味着有人阅读吗?标题足够吸引人就足以使读者在谷歌搜索结果中看到就点击进入吗?就像DavidColquhoun和其他人指出的,推文几乎无法反映关于被分享文章内容的任何形式的认知。

即使有可用的完美的测量工具,哪些测量指标值得关注仍需要我们作出决断。这里有一些明确的案例:知道你的同僚在阅读什么能够帮你融入公司文化;知道哪些研究能够激发公众兴趣能够帮助公共机构的开发官员募集善款。而目前问题的严峻之处在于,是否应该让这些类型计量在研究者工作评估或研究结果的出版物价值评估中发挥作用。

如果你在绩效评估中使用某种计量系统,研究人员会改变自己的行为来使自身行为在最大程度上适应它。

目前,我们要求研究人员做一定量的自我推销,但这只是实现目标的手段。自我推销可以通过以下方式进行:出版、发表会议讲话、访谈,诸如此类。这些都能够提升公众对其工作的关注度,同时也能提升影响力。而我们的目标就是做有影响的研究。但鼓励研究人员根据计量指标行动是希望通过目标本身赢得关注,而不是通过关注度获得影响。我们对研究方法而非研究结果的关注,可能会使我们倾向于更加关注对研究者本人有利而不是意义显著的研究结果。

计量必须和研究目标相联系,并且能够提供与这些目标相匹配的动机。我们到底希望研究人员如何分配他们的时间,以及与研究相关和与其他事物相关的工作量应如何分配呢?博客PeerJ建议,资助机构应该要求研究者们按照“最振奋人心的公民科学家”所产生的结果优先考虑研究内容,但我并不认同。如果我们的目标是对公众传播,为什么不聘请相应的专家?从成本的角度来说,资助机构直接雇佣专业的宣传机构不是比通过提供研究经费来获得研究之外的东西(宣传)更低吗?

(说句题外话,PeerJ博客中的博文,尤其是现在发表后可以实时删除的文章,是为什么同行评议应该匿名的一个绝佳证明,它很清楚地表明了做出评议怎样导致对评议人员的打击报复。)

当我听到鼓励研究人员做研究之外的事情这类提案时,我大脑中的怀疑区就开始亮灯。公众在讨论什么对研究员的工作很重要吗?还是要以此来改变游戏规则从而更好地适应别人的技能?也可能是因为你在开创性研究方面并不出类拔萃,但你擅长交流、社区经营,你还热衷于每天在网络上辩论,而那样的提案能把你擅长的东西变成衡量事业成功的标准?我担心替代计量学仅仅是奖励在科研领域的努力、参与和探讨,而不是脚踏实地的研究工作。

对于工作质量和“影响”这样模糊概念的计量仍是我们在投资和职业晋升等领域中进行决策时的核心需求。最好的情况是关注度指标为我们提供相关的信息,而一旦关注度成为衡量成功的官方指标,相关度就不太可靠了。

如果关注度成为我们评判研究人员工作的因素,这将改变研究人员实验和论文写作的规划。如果我们真的建立了这样一个系统,它奖励那些在大众中流行以及哗众取宠的研究成果,而研究人员能很快领悟并争相追逐这些目标,制定与替代计量指标排行榜榜首的那些课题毫无二致的研究计划。我们将看到盛行的是关于健康饮食、Facebook和数独这样浮夸煽情的研究,而不是那些能真正推动人类健康和社会进步的意义深刻却稍显平凡的研究。

不要曲解我的意思——在对科学的关注、科学的传播等方面,关注度测量有很大价值。这些课题很迷人,但它们不能取代定性指标和重要性指标。毋庸置疑,现行的影响因子体系有缺陷,但我们必须小心行事,不能用缺陷更多的东西来取而代之。

以在小组会议中发表的讲话来看,似乎还没有推动将替代计量指标正式引入研究人员评估体系的动向,这是个好消息。投资机构声称他们对替代计量很感兴趣,但并没有使用它们(或者其他指标)进行投资决策。对研究人员来说,关注度指标很有趣,但其辐射影响范围明显还不够,很难对他们的职业生涯产生任何实质性的影响。甚至连评估公司的员工都指出,关注度指标只是绩效考核图谱中非常小的一部分。

对关注度指标的过分强调可能正在减缓替代计量指标的增长率和接受度。“altmetrics”这个词条缠结了太多的注意事项,对于迫切需要寻找更好的方式来对研究进程进行定性研究这一目标来说它已经不再适用。对很多人来说,替代计量就意味着这篇文章在Facebook上获得了多少个赞。替代计量工具需要更精确的细分,最好的情况是保留关注度计量并且只在最合适的地方使用。

正如我听到过一个很好的比喻那样所建议的:当我们真的想知道一部电影的好坏时,关注度计量能够告诉我们这部电影在票房上的表现有多好
























https://blog.sciencenet.cn/blog-521339-813529.html

上一篇:面对盗版,出版商是防御还是进攻?
下一篇:订阅模式是数字时代的最佳商业模式吗?
收藏 IP: 219.140.207.*| 热度|

4 姜春林 郭楠 马瑞敏 Vetaren11

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-7 04:52

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部