博文
改进SCI：平均分配>按劳分配
精选
|||
SCI、影响因子、引用率以及最近几年发展出来的H因子，都是基于论文的被引用次数，评价论文、作者、期刊，乃至学术机构和国家的科研水平。有很多人对这些客观评价指标很反感，但我个人认为，在我们这个人情关系盛行、外行评价内行盛行的社会里，客观评价优于主观评价。就像共产主义社会不是近期目标一样，现阶段追求不符合现实的主观评价只会让评价体系更加低效。
我们提倡客观评价体系，并不是说基于引用率的这些客观评价指标没有问题。这些指标还是有很多需要改进的。比如说，通常的影响因子只计算两年内的引用情况。除了很热门的领域，很多论文的被引用高峰期在两年以后，两年影响因子不能反映某一期刊的影响力，而且波动很大。于是，ISI后来又推出了5年影响因子。在我看来，应该直接用5年影响因子代替2年影响因子。
另外，一个期刊的被引用次数多数来自20%或更少的论文，多数论文对影响因子贡献很小。因此，影响因子不能反映期刊上发表论文的总体水平（这一点很多人讨论过了）。也许期刊论文被引用的中位数代替平均数更合适。
。。。
基于引文的科研评价体系问题很多，我就不在这里一一列举了。这里谈一下我们课题组最近的一点小工作，也是在一个小角度上改进引文评价体系。
做过科研、写过论文的网友都知道，一篇论文的几十篇参考文献对这篇论文的贡献大小差别很大。有的文献就是简单提一下，有的却是论文研究思路或研究方案的基石。现有评价体系将这些不同贡献的文献混为一谈、一视同仁。这有点像我们社会几十年前的大锅饭，平均分配（这里是荣誉），贡献多少一个样。
一查文献发现，这个问题在上世纪七十年代就有人注意到了。针对这一问题已有的改进思路，主要是根据参考文献出现的语言环境，确定参考文献的重要性。这一思路最大的问题就是争议大，大家共同认可，适用于不用科学群体语言习惯的标准很难找。
根据常识，我们想到有些文献只是在前言或讨论中简单提一下。而贡献大的重要文献，在前言中，谈本研究为什么要开展时要谈到，结果与讨论中，还要将新结果与前人结果对比，也会提到，甚至方法中也可能参考。重要文献在正文中出现次数会多一些。用正文中参考文献的出现次数代替参考文献目录，可以更精确反映不同文献的贡献大小。
下面对尚未开展过科学研究的网友介绍几句经验。
一个研究不能满足于这样一个简单想法。这么一个想法，几句话就说完了，怎么能发表一篇学术论文呢？几句话，领导人说了，是思想精华、是理论，可以发表；普通人说了，可以发在微博上，就是几个字而已。调侃几句。
科学研究的理论或者主张，要让人信服，就要拿出证据。证据越充分，理论或主张别人越容易接受，你的论文分量也就越重，论文的级别也就越高。
限于我们自己个人的水平和能力，我们为上述主张提供了下面两方面的证据：
1、重要的文献在正文中出现次数多。但这方面的直接证据需要首先判断哪一文献重要，这无疑又会引入很强的主观因素、进而引发争议。我们采取了一个间接证据。如果一篇论文与它引用的某文献很相似，这篇文献贡献应该大。论文的相似性在ISI Web of Science和Pubmed中都可以查到。其中ISI的标准易于使用，我们就采用了ISI的标准：共同参考文献的篇数或比例。一篇2010年发表的论文所引用的众多参考文献中，与之相同参考文献的多少用来判断与之相似度高低。这样，我们就利用ISI数据库，分析了一堆论文及其参考文献，得到了一个结论，与论文相似的文献在正文中出现次数显著高。
2、这一改进是否可以改变现有评价体系中的一些不足之处。现有评价体系中，一个经常抱怨的现象是，由于用于阅读的时间、论文篇幅等方面限制，很多作者偏好引用综述论文。该引用几篇原始研究论文的位置放上了一两篇综述论文，结果就是基于引文评价的体系中，学术荣誉错误的赋予了综述作者。进一步连锁效应是，发表原始研究论文的期刊本该具有的荣誉被赋予了综述期刊。最明显的现象就是综述期刊高居各学科领域影响因子排行的前列。
我们猜测，综述多数应该是论文中被简单提一下的引用，所以计算正文中的文献引用次数可以在一定程度上矫正上述偏差。于是我们按两种方式计算了几十种期刊的影响因子：计算正文中的文献引用次数和传统的计算参考文献目录中的引用次数。结果显示，一个期刊发表综述论文的比例越大，新的评价方式中影响因子排行下降越明显。
抛砖引玉，欢迎大家对“计算正文中的文献引用次数”这一方式进行更深入的探讨。
另外，也呼吁大家认真思考改进“基于引文的科研评价体系”，虽然它不尽人意，但在社会主义初级阶段，我们需要它、离不开它。
参考文献
Hou WR, Li M and Niu DK (2011). Counting citations in texts rather than reference lists to improve the accuracy of assessing scientific contribution. BioEssays 33: http://dx.doi.org/10.1002/bies.201100067. 本博客中涉及的一些争论，详细情况可以参考此论文的参考文献。无法下载此文的网友可以向作者索取。
Editorial. Credit where credit is due. Nature Cell Biology 11, 1 (2009). Citations are an important component in the assessment of academic performance. Yet, the growing literature, combined with format constraints of journals, encourage citation of reviews in preference to primary research. This diverts academic credit from the discoverer.
论文与评价
https://blog.sciencenet.cn/blog-61772-474078.html
上一篇：纯英文授课，形式主义大冰山的一小角
下一篇：饮食与癌症
我们提倡客观评价体系，并不是说基于引用率的这些客观评价指标没有问题。这些指标还是有很多需要改进的。比如说，通常的影响因子只计算两年内的引用情况。除了很热门的领域，很多论文的被引用高峰期在两年以后，两年影响因子不能反映某一期刊的影响力，而且波动很大。于是，ISI后来又推出了5年影响因子。在我看来，应该直接用5年影响因子代替2年影响因子。
另外，一个期刊的被引用次数多数来自20%或更少的论文，多数论文对影响因子贡献很小。因此，影响因子不能反映期刊上发表论文的总体水平（这一点很多人讨论过了）。也许期刊论文被引用的中位数代替平均数更合适。
。。。
基于引文的科研评价体系问题很多，我就不在这里一一列举了。这里谈一下我们课题组最近的一点小工作，也是在一个小角度上改进引文评价体系。
做过科研、写过论文的网友都知道，一篇论文的几十篇参考文献对这篇论文的贡献大小差别很大。有的文献就是简单提一下，有的却是论文研究思路或研究方案的基石。现有评价体系将这些不同贡献的文献混为一谈、一视同仁。这有点像我们社会几十年前的大锅饭，平均分配（这里是荣誉），贡献多少一个样。
一查文献发现，这个问题在上世纪七十年代就有人注意到了。针对这一问题已有的改进思路，主要是根据参考文献出现的语言环境，确定参考文献的重要性。这一思路最大的问题就是争议大，大家共同认可，适用于不用科学群体语言习惯的标准很难找。
根据常识，我们想到有些文献只是在前言或讨论中简单提一下。而贡献大的重要文献，在前言中，谈本研究为什么要开展时要谈到，结果与讨论中，还要将新结果与前人结果对比，也会提到，甚至方法中也可能参考。重要文献在正文中出现次数会多一些。用正文中参考文献的出现次数代替参考文献目录，可以更精确反映不同文献的贡献大小。
下面对尚未开展过科学研究的网友介绍几句经验。
一个研究不能满足于这样一个简单想法。这么一个想法，几句话就说完了，怎么能发表一篇学术论文呢？几句话，领导人说了，是思想精华、是理论，可以发表；普通人说了，可以发在微博上，就是几个字而已。调侃几句。
科学研究的理论或者主张，要让人信服，就要拿出证据。证据越充分，理论或主张别人越容易接受，你的论文分量也就越重，论文的级别也就越高。
限于我们自己个人的水平和能力，我们为上述主张提供了下面两方面的证据：
1、重要的文献在正文中出现次数多。但这方面的直接证据需要首先判断哪一文献重要，这无疑又会引入很强的主观因素、进而引发争议。我们采取了一个间接证据。如果一篇论文与它引用的某文献很相似，这篇文献贡献应该大。论文的相似性在ISI Web of Science和Pubmed中都可以查到。其中ISI的标准易于使用，我们就采用了ISI的标准：共同参考文献的篇数或比例。一篇2010年发表的论文所引用的众多参考文献中，与之相同参考文献的多少用来判断与之相似度高低。这样，我们就利用ISI数据库，分析了一堆论文及其参考文献，得到了一个结论，与论文相似的文献在正文中出现次数显著高。
2、这一改进是否可以改变现有评价体系中的一些不足之处。现有评价体系中，一个经常抱怨的现象是，由于用于阅读的时间、论文篇幅等方面限制，很多作者偏好引用综述论文。该引用几篇原始研究论文的位置放上了一两篇综述论文，结果就是基于引文评价的体系中，学术荣誉错误的赋予了综述作者。进一步连锁效应是，发表原始研究论文的期刊本该具有的荣誉被赋予了综述期刊。最明显的现象就是综述期刊高居各学科领域影响因子排行的前列。
我们猜测，综述多数应该是论文中被简单提一下的引用，所以计算正文中的文献引用次数可以在一定程度上矫正上述偏差。于是我们按两种方式计算了几十种期刊的影响因子：计算正文中的文献引用次数和传统的计算参考文献目录中的引用次数。结果显示，一个期刊发表综述论文的比例越大，新的评价方式中影响因子排行下降越明显。
抛砖引玉，欢迎大家对“计算正文中的文献引用次数”这一方式进行更深入的探讨。
另外，也呼吁大家认真思考改进“基于引文的科研评价体系”，虽然它不尽人意，但在社会主义初级阶段，我们需要它、离不开它。
参考文献
Hou WR, Li M and Niu DK (2011). Counting citations in texts rather than reference lists to improve the accuracy of assessing scientific contribution. BioEssays 33: http://dx.doi.org/10.1002/bies.201100067. 本博客中涉及的一些争论，详细情况可以参考此论文的参考文献。无法下载此文的网友可以向作者索取。
Editorial. Credit where credit is due. Nature Cell Biology 11, 1 (2009). Citations are an important component in the assessment of academic performance. Yet, the growing literature, combined with format constraints of journals, encourage citation of reviews in preference to primary research. This diverts academic credit from the discoverer.
论文与评价
https://blog.sciencenet.cn/blog-61772-474078.html
上一篇：纯英文授课，形式主义大冰山的一小角
下一篇：饮食与癌症
