林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

二十年来辩是非,延迟评价行不行? 精选

已有 7289 次阅读 2017-4-25 23:37 |系统分类:科研笔记

说明:本博客与微信公众号《林墨》同步更新,所有内容均为原创,可授权转载。请扫码关注《林墨》公众号。


多一些延迟评价,少一些即时评价,给评价对象多一点时间,也许很多问题的答案就会变成另一个模样......

胡志刚 / 大连理工大学


注:图片来源于龙应台《孩子,你慢慢来》

前几日看到网上的一则消息,说有家长花了400多万送孩子到美国留学,学成回国后月薪仅5000块钱,这辈子都恐难回本了。这一戏剧性的反差,毫无意外地激起了网民们一片夹杂着仇富心理的嘲讽之声。

说毫无意外,是因为这样的故事太多了。

前不久还有这么一个段子,说现在清华大学的学生毕业后都买不起学区房,那买学区房还有什么用。对啊,买学区房无非就是为了将来考个好大学,可是现在连国内最好的大学的学生都买不起学区房了,那买学区房还有意义吗?

还有的家长则直接走向了问题的反面,看到现在的大学毕业生要么找不到工作,要么拿到的工资比农民工还低,于是认为上大学无用,白扔几万学费进去打水漂。这种看透一切的笃定,不知道是因为悲观呢,还是因为聪明。

其实这三个故事,都是关于教育投资回报率的问题。现在的年轻父母在子女教育方面,真的是舍得花钱,可以说不计成本,不计回报,家庭开支的很大一部分都花在了孩子身上。但是,不计成本是真的不计成本,不计回报是真的不计回报呢,还是没到考虑回报率的时候,这个可能得等孩子长大的时候再说。不是已经有家长后悔送孩子出国结果孩子嫁了老外自己老来无靠的困境了吗?

教育投资回报率相关的另一问题是科研投资回报率。现在国家对于科技的投入越来越多了。在刚刚过去的十二五期间,我国基础研究投入从2011年的411.8亿元增长到2015年的716.1亿元,增长了73.8%,年均增幅接近15%。在2016年,五大类国家科技计划中,国家自然科学基金委资助总经费268.03亿元;而整合了原有的973863等多项科技计划的国家重点研发计划,首年的资助总额也达到了278.2亿元。

科研投入花的是纳税人的钱,也许可以不计成本,但是一定不能不计回报。可是说到回报率就有点尴尬了。我国科技成果转化率仅为10%左右,大量的科技投入都没有经济意义上的回报。林墨刚刚介绍的一篇Science 论文中也指出,在美国由NIH资助的项目中,只有不到十分之一的项目结题时产出了专利成果。怪不得特斯拉公司的CEO,美国科技实业界赫赫有名的埃隆·马斯克,直言不讳的说,绝大多数学术论文毫无价值,公开挑战科学界的既有价值体系。

虽然埃隆·马斯克的观点激起了一片掌声,但是笔者认为,科研投资和教育投资一样,不能太功利主义,不要急也急不得。法拉第有一句名言,当别人问他电磁感应有什么用的时候,他反问道,初生的婴儿有什么用?

很多的科学研究,如果放到科学史的维度上考量,其实早期都没什么用。今天我们生活中已经离不开的电力,在18世纪末的时候还只是一种看起来有点无聊的杂耍。比如有一场表演是这样的:七百名修道士手拉手,排成一个长达275米的长队,排头的修道士用手握了一下莱顿瓶的引线,然后七百名修道士同时被电到跳了起来。

现场观看到这一表演的法国皇帝路易十五,可能无论如何也想象不到,这个只能博人一笑的玩意,在二百年后会成为这么有用的一项技术!

所以说,有时候一项投资有没有用,得延迟评价。《红楼梦》里说二十年来辨是非,在进行评价的时候,我们得给评价对象多一点时间,先让婴儿长大了再说。

当然,我们讲延迟评价,不是说要非等到二百年后或二十年后再来看。但等个两年总可以吧。对于学术论文的评价来说,两年可能是一个你不得不等待的时间尺度,因为一篇论文的被引次数一般在两年后才达到峰值。所以只有利用文章发表两年后的引用次数,来预测一篇论文将来的引用总次数,才是一种比较靠谱的方式。

可是科研管理部门,却连两年都不愿意等,他们想要的是即时评价:今年发表的论文,年底填表的时候就要分出个好坏高低。那怎么评价?还看被引次数?文章刚发表出来,被引次数都还是零呢。

那就只能看出身了,也就是发表在什么期刊上,看这个期刊的影响因子有多大。影响因子指的是一个期刊过去两年发表的论文在今年的被引次数的平均值。这看起来是一个还算科学合理的指标,可是仔细想想,这个指标其实有点问题。

首先,影响因子高的期刊上的论文被引次数未必高,影响因子低的期刊上的论文被引次数也未必低。那评价的时候是看影响因子呢,还是看被引次数呢?比如说,同样发表在2014年的两篇论文,而且被引次数都是10次,一篇发表在高影响因子的顶级期刊上,一篇发表在低影响因子的普通期刊上,你觉得哪个更牛呢?我反而是觉得发表在普通期刊上的论文更牛,因为前者在那么好的平台上都没有赢过后者,是不是证明这篇文章的水平有点被高估了呢。

其次,有研究表明,一个期刊上至少65%的论文都跑不赢影响因子。而对于ScienceNature 这样的顶刊,这一比例只能更高。比如2016Nature 期刊的影响因子是38.1,笔者简单检索一下,20142015年发表的论文中,被引次数到今天高于38次的仅占19.9%,竟有34.4%论文迄今为止还一次没有被引用过。这说明什么?这说明一本期刊的被引次数,完全是被少数比较牛的论文给拉高的,和大多数的论文其实没有关系。

所以说,即便是像影响因子这样应用广泛,并且其实已经设计的非常科学的评价方法,仍然是不可靠的。因为本质上,这种即时评价只是一种间接评价,不是直接评价,说白了是以出身论英雄。

就像本科生毕业考研一样,虽然教育部有文件明令禁止,但是招生单位还是喜欢来自于985211高校的学生。为什么看重一个学生的是不是好学校出身呢?因为历史数据告诉它们,好学校的学生平均水平更高。可是,他的师兄师姐们水平高,和他的个人水平高或者低有关系吗?其实并没有。

影响因子的本质,就是在用别人论文的被引次数,来评价的你的论文的被引次数。

遗憾的是,虽然影响因子有这样那样的问题,我们的科研评价体系就是不愿意多等上几年,多给论文的被引留一些时间。比如已经取消的全国百优博士论文评选,答辩后第二年就立即进行评价,可靠性上一定会大打折扣。为什么我们不能耐下心来,等上几年,然后再来回溯一个项目的真正价值和影响呢?

多一些延迟评价,少一些即时评价,给评价对象多一点时间,也许很多问题的答案就会变成另一个模样:

花了400万回国后月薪近五千的留学生,也许几年后辞职创业凭借其国际视野成功带领公司上市彻底实现财务自由了呢;

毕业后工资没有农民工高的大学生,也许凭借其大学时期的知识和人脉顺利实现再就业身价飙升然后成功迎娶白富美走向人生巅峰了呢;

而买不起学区房的清华毕业生,也许这辈子连普通学区的房子也买不起,毕竟我们要用这个例子来证明,这篇文章不是鸡汤文。




107篇论文撤稿事件
https://blog.sciencenet.cn/blog-1792012-1051184.html

上一篇:预测你的学术影响力
下一篇:站在巨人的肩膀上
收藏 IP: 183.157.162.*| 热度|

11 迟延崑 王从彦 史晓雷 俞立平 李东风 高峡 卢瑶 吕洪波 武夷山 ericmapes aliala

该博文允许注册用户评论 请点击登录 评论 (15 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-26 08:43

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部