博文
重播：科技指标在科研绩效评价中的功与过
||
重播：科技指标在科研绩效评价中的功与过
武夷山
早在十年前的2005年，笔者就在当时的“中国科技信息”网（www.chinainfo.gov.cn，后来该网址改为“中国科技情报网”，且只对会员开放了）上就科研绩效评估问题与广大网友进行了较深入的互动交流，讨论很热烈，前后延续了二十天。现将部分问答与讨论放在这里，希望引起进一步的思考。这些内容，我2007年在博客上放过一次。我觉得，有些人对科技指标并没有多深入的了解，却喜欢酣畅淋漓地骂，因此，我在2013年在博客上将这些问答再次发了一遍。今天第三次在博客上贴出这些内容。）
科技指标在科研绩效评价中的功与过（2005年版，未改动过）
近年来，围绕《科学引文索引》（SCI）在科研绩效评价中的作用与功过，曾发生非常激烈的争论。这一争论只是科研绩效评价问题上种种不同意见的一个缩影。本人愿意与网友就这一问题进行切磋讨论，以期将我国的科研绩效评估搞得更好。
问 题: 请问：据我所知道，中国的很多数据都不准确，包括国家统计局发布的各项统计指标也是如此，那么请问，我国的科技统计数据是不是准确，如果这种数据的不准确来评价科研效果，是不是也很片面？
网友: 王大为 2005/04/10
答 复: 科技统计数据当然要力求准确。但是，绝对准确是难以做到的。即使数据未能做到百分之百准确，通过合理的分析，仍能看出一些趋向和问题。好比说，一只手表总是慢或者快，只要我掌握了其快慢的幅度，仍能用它计时，总比没有手表要好。很多不准确的数据都是自报数据。通过第三方来获取的数据往往要好些。梁立明教授和我曾有一篇合著论文，“高等院校科研绩效的自报指标与源生指标”，科研管理，1998，19（6），44－48。有兴趣可以看一下。我们的研究表明，自报指标不大好信赖，源生指标（根据某一较客观的数据库，如SCI，所导出的评价指标）的质量要好得多。
问 题: 您怎么看待论文在个人科研绩效评价中的作用，比如，最近出现的的上海交大一位老师因无论文发表而不能评教授的问题。
网友: 艾思科 2005/04/12
答 复: 对于科研型大学，要求教师注重发表论文是天经地义的。要知道，写论文并不是为了评职称；而是说，学术期刊是交流科学思想的主渠道，有了成果或想法当然要发表出来，与同行分享。如果不发表出来，就像一个人在个人生活中想倾诉而无处倾诉一样难受。以教学为主的人，可以少发表些论文，但根本不写论文也不合适，因为，写论文的过程是将某些想法提炼升华的过程，对教学肯定是有益的。最起码，将教学经验总结提高一下，将感性认识上升为理性认识，总是可以的。 当然，万事切忌一刀切。个别教学水平极好的老师，由于某种原因没有论文，应当也可以作为特例而评教授。好比当年钱锺书考清华时，数学不及格，语文呱呱叫，清华照样破格录取。如果绝对一刀切，没有例外，则也许将钱锺书先生永世埋没了。
问 题: 请问，目前科研绩效评价包括对个人的评价（如论文收录情况），也包括对科研项目的评价，请问武老师，目前国家层次的对科研项目进行评价有什么可以量化的指标体系？或者评价体系？
网友: sunny 2005/04/12
答 复: 对科研项目的评价指标，随项目的性质而异，而与下达项目的“层次”（中央政府，地方政府，大学，研究所）没有太大关系。例如，对于973计划（基础研究计划），就将论文发表量和论文的影响力作为很重要的指标。对于863计划（高技术发展计划），由于希望高技术研发的成果转化为现实生产力，就不仅要衡量论文指标，还要看专利申请与获准的数量。论文指标与专利指标都是量化指标。某些定性指标也可以转化为定量指标（通过评估专家的打分），好比青年歌手电视大奖赛上，其实所评估的演唱水平、艺术素质等都是定性指标，但仍旧以评委打分这一定量形式表现出来。至于是否用一种较正式的指标体系（将各种指标都赋予权重）来评估，还是让专家分别考量和评判各种指标，最后做出模糊的总体判断，则取决于评估委托方的要求。
问 题: 目前在科技论文统计方面的工作国内有好几家，请问这些指标都是雷同的吗？是不是重复建设，哪一家更权威一些？
网友: linker1960 2005/04/14
答 复: 几家论文统计单位的主要差异是统计源，有的偏于科学期刊，有的既包括科学期刊，也包括大量工程技术期刊，有的专门统计社会科学期刊。当然，每一家都会计算期刊的影响因子这样的典型指标，但是，各家也各有其特点。例如，在社科人文领域，南京大学的《中文社会科学引文索引》数据库的建设者考虑到在社科人文领域，专著成果的相对重要性要远远高于自然科学领域（在那里，期刊论文成果最重要），因此，他们的数据库可以方便地反映出有关专著是哪个出版社出版发行的，这是一个亮点。 根据数据库中的数据，可以设计出很多不同指标，各家可以各显其能。到目前为止，在推出指标的丰富性和时效性方面，似乎是中国科技信息研究所的“中国科技论文引文数据库”做得较好。例如，期刊的扩散因子，就是该数据库建设者根据国外同行的研究成果率先在国内推出的。 至于是否重复建设问题，不好简单化地回答。打个比方，在美国，若一家公司做电视机做得已经不错，其他厂家就会专攻其他电器，不与其争锋。在日本，日立做电视，松下和东芝也做。洗衣机、电冰箱、空调器，等等，三家都做。激烈竞争的结果，日本电器的质量日臻完美。中国的几家数据库既有竞争关系，又有互补关系。梁立明教授有一篇论文，“高等院校绩效评估的数据库选择”（科研管理，1999，No.3，12－17）客观地分析了各家数据库的特征，可以参阅。用户选择哪一家数据库，不取决于所谓的“权威性”，而取决于自己的特定需求。
问 题: 请问我国各企业的科研投入量/率，在哪里可以查到呢？
网友: 小胖 2005/04/16
答 复: 国家统计局的企业调查大队有500多人，每年都要对企业的各种指标（包括研发支出数据）进行调研，因此，国家统计局掌握的企业数据是最全的，但这些数据并未全部公开。国家统计局主管的《中国国情国力》杂志上不时披露一些有用数据，可以参考。另外，通过上市公司的年报和上市公司按照证监会要求所公开的财务数据，能了解到上市公司的研发支出额。
问 题: 请您推荐几种较好的关于科技指标和科研评价研究的期刊或书籍（国际及国内），谢谢！
网友: 艾思科 2005/04/18
答 复: 常登这方面研究成果的国内期刊有：科研管理，中国科技期刊研究，科学学与科学技术管理，情报学报，等等。国外期刊有：Research Evaluation, Research Policy, Research • Development Management (Industrial Research Institute的会刊)，Science and Public Policy, 等等。这方面的中文图书有：科学技术测度体系（周萍 等翻译，武夷山审校，科学技术文献出版社，2004），科研评价与指标（蒋国华主编，红旗出版社，2000），科研评价与大学评价（王战军 蒋国华 主编，红旗出版社，2001），等等。国外著作有：Measurement and Statistics on Science and Technology, 1920 to Present (BenoÎt Godin著, Routledge出版社，2005，博主2007年5月30日注：此书已经由中国科技信息研究所翻译成中文，即将由科学技术文献出版社出版)，美国国家科学基金会每两年推出一次的报告Science and Engineering Indicators（ 最新一本是2004年版），The dynamics of technology-based economic development， state science and technology indicators : second edition : October 2001，等等。
问 题: 武老师：从您的回答和您的文章中能看出，您的知识面很广，请教一下，关于科技指标评价（定量的方式来评价科研绩效）这样一种方式能不能借鉴到其他的绩效评估中，不仅仅是科研绩效的评估？
网友: 下里巴人 2005/04/18
答 复: 定量评估方式与定性评估相结合是具有普遍意义的。例如，拿教学评估来说，可以采用学生自愿选修某老师开的课的人数、学生选修这门课后的出席率（是否出席者越来越少）之类的指标，配合学生在课程结束后对老师讲课质量的定性评估指标，两方面结合起来比较稳妥。当然，一定要坚持“同类相较”的原则，有些课程属于当代的“显学”、热门，选修者总是很多，并不意味着老师水平高，有感召力，就不能将这样的课程的教师与开设受到冷落的课程（但依然是社会需要的）的教师放在一起比。
问 题 请解答： 科技评估 、科技评审、科技评价、科技评议的区别？谢谢！
网友: 网友 2005/04/19
答 复: 这几个词是同义词或近义词，随习惯而用于不同场合。英语的对应词有Assessment，Evaluation, Review等。论文一般用评审这个词（Review），同行评议，英文是Peer Review，项目用评估（Evaluation），层次更高时，比如整个技术领域（核技术），用Assessment，过去美国国会有技术评估局（Office of Technology Assessment）。英国政府对大学科研绩效搞评估也用Assessment这个词。但是，它们之间的区分不是刚性的。
问 题: 武老师您好，我想问一个比较基础的问题，已经困扰我几天了，希望能得到你的帮助，谢谢！请问：影响国际直接投资的流量和流向的主要因素是什么呢？
网友: 一个初学者 2005/04/19
答 复: 我不是经济学者，对国际直接投资（FDI）不熟。据我的粗浅看法，主要影响因素有：投资者对潜在投资市场投资回报率的预期（这里又要考虑劳动力成本，原材料的成本，金融业的效率，等等），对潜在市场风险性的预期（包括政治局面的稳定程度，政府法规是否多变，市场规范程度，等等）。这是主导因素。当然，有时候，发达国家为其总体战略服务，也可能将政治因素放在第一位，将FDI作为工具，而不是把投资效益放在第一位。像50年代朝鲜打仗时，美国对日本、台湾有很多的投资。以上回答不一定对。
问 题: 请问您对目前某些高校对教师实行的以影响因子乘以论文数的计分原则怎么看？
网友: 艾思科 2005/04/19
答 复: 我个人对这种做法持强烈质疑态度。要想评估个人论文的质量，就要看其论文到底是否被引用了，自引还是他引，肯定性引用还是批评性引用，等等。发表在高影响因子的期刊上不等于被引用。进一步说，发表在低影响因子刊物上未被引用还情有可原，因为那个刊物没人注意；发表在高影响因子刊物上却未被引用，则比前一情形还要糟糕。怎么可以从优奖励更糟糕的情形呢（假定发表在高影响因子刊物上却未被引用）？
问 题: 武老师：您好！我想请教一下怎样可以查到一篇论文被引用的次数呢？有这样的数据库的吗？谢谢！
网友: 小刘 2005/04/19
答 复: 如果是发表在社科期刊上的论文，要查找被引用情况，可以用南京大学开发的“中文社会科学引文索引数据库”；若是了解科学技术期刊上的论文的被引情况，可以用中国科技信息研究所的“中国科技论文引文数据库”。不过，由于这两个库的开发没有依赖政府的经费，其检索服务都是收费服务。
问 题: 按您的经验，一个学者一年内究竟能够发表多少篇学术论文？应该是有一个极限的吧？这个数量可能与学科有一定的关系。另外，研究生（博士生）的论文到底谁应该属第一作者？国外有没有我们可以借鉴的经验？
网友: 2005/04/20
答 复: 世界上形形色色的人都有，高产作者的本事令一般人叹为观止。例如，美国新墨西哥大学的化学家Joseph Wang教授（他长着洋人的面孔，尽管是中国姓）是近年来的世界最高产作者，在1991至2001年间发表了444篇SCI论文（年均40.4篇）,被引次数高达2078次。（此消息见http://www.nmsu.edu/~ucomm/Releases/2002/May2002/Wang_ISI.html）匈牙利杰出数学家埃尔德什一辈子发表了1475篇论文，吓不吓人？对于这样的能人，高产并不意味着论文质量不行。 对于师生合作，我没听说过国际上有什么固定的排名规矩。一般而言，按贡献大小，贡献大的排前面。但是，有时候贡献大小是讲不清的。出思路重要呢？还是做实验重要呢？谁说得清楚。经常有的一种排名方式，是学生（或晚辈）在前，导师（或权威）在后，但是，通讯作者（Correspondence Author）是导师，这样，读者仍能看出来谁重要。梁立明教授的研究表明，在中国的计算机领域和控制理论领域的师生合作中，也是老师名字居后的情形最多，或曰“贵人断后”。 我个人觉得，在排名上不妨洒脱一些，学学一些国外科学家的方式。有些人经常合作，懒得分贡献大小，就按字顺排名。甚至有用排名开玩笑的。比如，一位叫贝特的著名物理学家与另一位著名物理学家伽莫夫合写了一篇论文。二人合计说，我俩的名字发音近似于“贝塔”和“伽玛”，咱们何不找一位“阿尔法”呢？于是他们找了一位物理学家朋友阿尔弗雷德（其发音接近“阿尔法”），让他当第一作者。就这样，由头三个希腊字母合写的物理学论文诞生了。这可是真事哦。
问 题: 在中国的科研绩效评估中，一般认为在中国科技期刊上发表论文不被重视，于是中国的期刊编辑部门总是抱怨论文外流了，于是有人建议重大项目必须在中国期刊上首发，您认为合理吗？可行吗？
网友: 艾思科 2005/04/21
答 复: 科学家有祖国,但科学无国界。因此，我个人不同意轻率使用“论文外流”这种说法。简单化地用“必须”二字来限制稿件流向，既不合理，也不可行。但是，缺乏优秀稿源，国内期刊确实难以发展。我的建议是：1、国内期刊要提高稿件处理流程的效率，使发表时滞缩短，这是与国外期刊竞争的有力武器；2、科学家个人在向国外期刊投稿后，用中文重新表述自己的成果（不是将英文稿翻译过来），投给国内期刊。西方一些科学家认为，为了使自己的学术观点发生影响，扎下根来，有必要在不同杂志上发表主题思想类似的多篇文章。这种行为不属于一稿多投。
问 题: 武老师：您好！SCI收录是整本期刊上的所有论文都收录呢还是只是一篇一篇地审核着收录的呢？如何查询某篇论文是否被SCI收录呢？应该有这样的数据库吧?
网友: 小刘 2005/04/22
答 复: SCI的收录原则是,只要将某刊作为源期刊，其上的所有类型的文献都收录，不管是论文、综述、社论还是读者来信。而有些数据库，如EI（工程索引），则是选择性收录，比如，某刊虽然是其源期刊，但被选用的论文数也许只占期刊登载论文数的三分之一。两种方法各有优缺点。 很多大学的图书馆或大型公共图书馆都订购了SCI网络版，即Web of Science, 可以用它查阅论文被引情况。如果不方便或不具备条件，可以委托中国科技信息研究所（或其他类似图书信息机构）的信息服务中心或“中国科技论文统计分析课题组”代为查询（查询者要提供自己论文的英文题目、发表期刊的名称及发表年卷期、本人英文名字拼法等信息）。这是一种收费服务。
问 题: 武老师： 您好！我是一个本科毕业生，现在做一个红外线检测高炉温度的设计，而且测出的温度要进入计算机。请问这方面的资料应在哪找？
网友: 杨蕾 2005/04/25
答 复: 很多数据库都能查到你需要的文献，例如，我在“国家科技图书文献中心”（www.nstl.gov.cn）的网站上，选择“中文期刊”类别，在数据库的“关键词”字段中查找符合“温度”、“检测”和“高炉”的文献，就查出来6篇，你应该多摸索摸索科技文献检索方法，并不难。
问 题: 在科研项目的评价与评估过程中，如何组成专家评审团才是合理的呢？是不是学科越小，越准确？目前据说许多大项目都是一个评审小组评多个项目，这样仿佛不太合理。国外的管理部门是怎么做的？有没有从科学角度研究这方面问题的文章？
网友: 艾思科 2005/04/25
答 复: 你提的问题非常好，很内行。评审专家应该是内行，但未必圈子越小（从专业范围说）越好，因为小到一定程度，即使匿名评审，评审者也知道是谁提出的项目，这样就又不好说话了。另外，大有大的好处，大行当的专家（比如，能源问题研究专家，而不一定是太阳能电池的专家）更可能从比较宏观的角度，从科技与经济结合的角度去看问题，不一定是坏事。澳大利亚科工组织（CSIRO）确定优先领域时，请的也是大（从专业范围说）专家。各种方法各有利弊，什么都不能绝对化。解决现存问题的出路之一，是搞国际评审，这样更加公正。目前，某些单位在试行请海外华人专家参加评审，效果很好。下一步可以试验让“洋人”参加评审，但是，那就得将项目申请写成英文。此外，专家要有自觉性，别人请你参加评审，若你发现自己对待审项目不懂行，就应该谢绝，而不能不懂装懂，混评审费。这样不懂装懂的专家不多，但是并非没有。我本人无论在评审学位论文或期刊投稿还是在评审项目时，一碰到我不熟悉的领域的东西，一定婉言谢绝，请主持单位另请高明。
问 题: 武老师，您好，看到您前面对一个网友关于“科技评估 、科技评审、科技评价、科技评议的区别”的回答，本人觉得在具体操作中，它们之间存在一定的区别，在此谈谈自己的看法，还请您指正。概念解释： 1、科技评估是对科学技术活动的科学性、可行性和有效性进行评判，为决策提供参考意见的咨询活动。通俗地说，科技评估是根据委托者的明确目的，由专门的机构和人员依据大量的客观事实和数据，按照专门的规范、程序，遵循适用的原则和标准，运用科学的方法所进行的专业化判断活动。 2、科技评审在英语或其他语言中很难找到一个与之对应的词。美国的科技项目管理中使用的是“评估”（evaluate）。英国对科研成果的评价体系是“Research Assessment ”，根据美国传统词典解释，assessment的含义是评估、估价（强调的是评估方对评估对象的评价和看法，估计评定对象的质量。各国都不存在所谓的“评审”的说法，较多存在的是“评估”、“评价”， 在中国，它具有评价和审定的双重含义，是指由国家有关管理机构对取得的成果、成就以及某种资格进行评价、审定，并最终给予某种形式的确认的活动。科技评审的组织者一般是国家各级科技管理机构，科技评审对象的范围较窄，一般是对项目、成果的评价。 3、关于评估与评审的在操作中的具体不同就是：评估是由委托方（现在主要是相关政府机构）委托给第三方的评估机构来对项目的可行性，实施效果等进行的综合评估，包括事前，事后，事中，跟踪评估等，具体的实施（评估计划，评估流程，评估方法，遴选专家等）是由第三方评估机构来进行的。而评审是由政府相关机构自行来组织专家对某项目或者成果进行的评价。还有就是，评估的最终结论是由评估机构来出具，在评估过程中，专家组的意见只是作为评估结论的一个参考依据，而评估结论可以与专家组意见不相一致。而评审不同的则是专家组结论一般都是最终结论。
网友: 网友 2005/04/26
答 复: 你对评估与评审的划分很有意思,可以参考, 但是，迄今人们并没有取得共识。我个人不太注重在采用那个术语上斤斤计较，关键是做了什么。我想反复强调的是，千万不要以为，某种方式比另一种方式更好。例如，第三方评估有其优势，但并非所有评估都得依赖第三方机构。西方有些国家政府中也有专门的评估部门，其人员非常专业化，其评估水准绝不亚于社会评估部门。有时候，采用第三方评估，不是因为其专业水平高，而是为了有一个公正的外表。安达信公司这样的咨询公司就属于第三方服务公司，照样可以同委托方沆瀣一气。 即使按照你的定义，也不能说，评估代替评审是个趋势。根据你的定义，评估成本必然大大高于评审。而有些项目的金额本来不大，若大张旗鼓地搞评估，则项目管理成本占总项目费的比例太大，显然不合理。与其这样，还不如少花些评估费，多支持一些项目呢。 在全世界，广义的评估都是个热点和难点。本所的张义芳研究员主编的《科普评估理论初探与案例指南》（科学技术文献出版社，2004），尽管探讨的是科普评估，但是，对于其他项目评估也有启发。联合国开发计划署（UNDP）编写的《面向结果的监督与评价》（科学出版社，1999）亦可参考。
--------------------------------------------------------------------------------
问 题: 武老师还想请您推荐是否有关于：政府绩效评估及中期项目评估方面的书籍资料？谢谢！
网友: 网友 2005/04/26
答 复: 在全世界，广义的评估都是个热点和难点。本所的张义芳研究员主编的《科普评估理论初探与案例指南》（科学技术文献出版社，2004），尽管探讨的是科普评估，但是，对于其他项目评估也有启发。联合国开发计划署（UNDP）编写的《面向结果的监督与评价》（科学出版社，1999）亦可参考。本所翻译、我本人校译的《政府研发的经济影响评估》（科学技术文献出版社，2005）是本非常好的小册子。
问 题: 经常可以看到英国、美国等国家的一些项目评估的相关文章，发展中国家的却很少见，请问我国的科研项目评估以及科研评价工作在发展中国家中处于什么水平？在整体框架的建设上是不是已经走在前面了？或者说形式上已经与发达国家同步了？以您的经验，目前最重要的是解决什么问题？我个人认为专家的诚信度还是一个很重要的因素。
网友: 艾思科 2005/04/26
答 复: 我对其他发展中国家的科技评估水平没有系统研究, 不敢妄加判断。但应当说，评估水平与一个国家的总体发展水平，与专业化分工水平是大致相应的。 我国的特点，是政府的作为能力比较强。由于认识到政府花的都是纳税人的钱，总要对纳税人有所交代，因此，政府部门近年来的评估工作总体上是大大加强了，规范了，也可以说评估框架的雏形已经有了。与发达国家的差距不在框架上，而在认识水平上。比如，一个国家的社会科学研究水平不高的话，评估（它显然主要与社会科学的方法与思维相关）能力也高不到哪儿去。我大胆地说，我国社会科学水平不算高。随便翻开社科杂志就可以知道，很多作者不是持平等讨论问题的态度，而是颐指气使地教训人，老子就代表真理。陈向明的《质的研究方法与社会科学研究》（教育科学出版社，2000）一书中的很多真知灼见，社科界把握理解了的恐怕不多。在软科学界和科技评估界似乎也存在着伪定量研究盛行、却抓不到问题实质的严重问题。 科技评估方方面面问题很多，不知从何说起，只说感受比较强烈的一条。现在，审计部门、财政部门似乎最关心的是：钱的使用要符合规定，不该支的项目坚决不能支。而对经费的使用效果的关心反而不够。在财政部门、审计部门越来越严的管理下，科技管理部门只有加强经费管理，加强立项评估。其结果，非共识科研项目更难上马。吴文俊院士曾谈到，当年，国家科委给了他的机器证明科研项目很及时的支持。我猜测，当时主要是国家科委的某位官员支持这个项目，因为那时没有像现在那么规范的评估。如果吴先生现在申请这个项目，十有八九批不下来，评审专家组的权威们可能把项目设想批得体无完肤。即使科技部某司某处某官员像当年国家科委某人那样有胆识，有见识，在现行制度下，也无法作为。我们真的需要好好检讨一下，目前的评估工作到底是否促进了创新。 个别专家的诚信度是有问题，而且，永远如此。但是，靠制度可以解决。一是严格的双盲制，如果无法双盲，就要采用严格的回避制。可以要求评议人书面承诺：本人与被评项目的主要参与者没有亲戚关系，师承关系，朋友关系，没有经济利益关涉（比如，是被评单位的股东、技术顾问之类），等等。若不实事求是，甘愿受罚，云云。一旦发现隐瞒实情，该回避没有回避的，就要使这样的人名誉扫地。另外，行贿受贿要同等处理。对于向评审专家送红包的，一旦发现，就要取消送红包单位的参评资格。这些事，只要评估工作的主持方下决心，都能做到。中国工程院在院士选举中不是已经做到了吗？
问 题: 武老师：您好，您在科研绩效评估方面做过系统的研究。有些问题向您请教。应该说自然科学和工程技术科学的科研评价方法在我国甚至世界范围内得到广泛的关注和讨论，而且已有些相对成熟的做法。但是关于人文社会科学的评价，尤其是在知识经济背景下，如何充分认识社会科学的地位和作用，从科学学（或者科学计量学）的角度探讨得还很不够。最近几年就大学人文社会科学的评价也是争议颇多，如，如何评价大学的社会科学教学、科研和社会服务水平，如何评价一个科研基地和机构的科研实力，如何评估个人的学术水平等等，都成为了不得不做又做不好的问题。如何在指标的选取、权重的设定、方法的选择等方面做到科学、公正、易于操作也是很难统一。能否就上述问题，给出你的建议。谢谢。
网友: 大连理工大学 2005/04/27
答 复: 社会科学与人文学科的绩效评估确实更加困难复杂。我个人没有对此作过专门研究，仅发表一些点滴思考。第一， 有关数据库需要作出调整以适应社科人文领域的评估。例如，在该领域，专著的重要性要比自然科学领域大得多。可是，所有SSCI类型的数据库都只通过期刊的参考文献来反映被引情况，这显然不全面。如果哪个数据库也将一些著名出版社的社科人文专著的参考文献也统计进来，这个数据库的评估功能就如虎添翼了。再进一步说，社科人文领域博士学位论文的参考文献是否值得统计？重要报纸理论版登载文章中的隐性引用（未用脚注或参考文献的形式引用，而在文章中直接引用了）要不要统计？其实这些都是数据库开发者的商机所在。我们期待着有眼光的数据库开发者捷足先登。 第二， 在社科人文领域的评估中，目前将各级领导人批示看得比较重，这是不足取的。我并不是说，社科人文选题不需要关注现实，不需要加强对策研究，而是说，过度看重领导人的批示的话，就必然将研究层次和风格向某位领导人的水准和口味看齐。而我们不能保证每位领导者都是社科人文专家（他们也许是政治家和管理专家）。了解到某位领导在某事上的立场后便曲意逢迎，则更加恶劣。理性依据不足的可行性论证不知会给国家人民带来多大的损失。到底将领导人批示的权重给多大？这是校长、社科院长、研究所长可以说了算的。 第三，科学计量学评估的基本原则是“同类相比”，一定要坚持这个原则。用同一把尺子（如期刊影响因子）来衡量数学同生物学都不合适，就更别谈简单化地将适合于自然科学与工程领域的指标套用于社科人文领域了。例如，外部争取到的科研经费数额，社科人文系科怎么同理工科比呢？社科人文界同僚完全可以自己设计一些符合本领域特点的指标。例如，历年来，某人的专著被任课老师指定或推荐为参考读物的频次。在美学领域，我们可以看看，蔡仪、朱光潜、李泽厚，等等，谁最受欢迎？历久不衰？还可以看看，哪些专著在有关报刊的书评栏目“亮相”的次数较多？获得的正面评价较多？目前没有什么数据库提供这些指标，但是，通过社会调查或民意测验或简单的文献调研，不难获得此类数据。以上只是举两个例子。只要开动脑筋，期刊引文之外的、适合于社科人文领域的评价指标还是可以设计出不少的。
问 题: 再次求教武教授谢谢您昨天的答复，给了我很大启发，也引发了我更深层面的思考。关于科学计量学在人文社会科学科研绩效评价方面的应用效度，是一个值得思考的问题，科学计量学更多的是从文献的外在指标来解释研究的内在质量，这里就有个问题：学术质量（创新程度）与文献质量（影响力）的关系怎样看待？文献质量如何更好地反映学术质量？还有个人或者机构的知识存量和效率之间的关系怎样处理？评价的时间是否有个范围，不能很长也不能很短.此外，当前由于人文社会科学的相关数据库建设还不完善，所以不仅要考虑指标的科学性问题，还要考虑在现有条件下，如何保证指标的实用性、可操作性和数据的可获得性问题。人文社会科学成果表现形式多种多样，产生的学术影响的时间也有很大差异，比如说基础理论著作。如果要设计一套科学计量指标，还应该注意哪些重要问题呢？谢谢!
网友: 大连理工大学一博士生 2005/04/28
答 复: 首先我想说的是，由于社科人文不像自然科学与工程那样具有普适性（大致说来），就不太可能设计出放之四海而皆准的评估指标体系。要承认这个基本前提。中国很多大学都自己搞了一套核心期刊（或A类期刊）名单，评职称什么的，就要看是否在单子所列的期刊上发表文章。这种做法比简单采用某一数据库的源期刊作为本校的核心期刊，已经是一种进步了。而国外社科界似乎没有普遍采取这种做法。据一项研究，被调查的496个管理系中，只有14％编制了这种期刊清单，他们叫Formal List (见David D. Van Fleet et al., A theoretical and empirical analysis of journal rankings: the case of formal lists, Journal of Management, 2000, 26 (5): 839-862. ) 被调查的单位普遍认为，搞这么一套单子，总起来说弊大于利。这样一比的话，我国社科界有些太“超前”了。 第二，社科人文领域之内，各学科也不一样。经济学这样已经比较“硬”的学科，采用定量评估法的问题不大。文史哲就比较困难。因此，永远不能一刀切。 第三，你提到的评价的时间范围，确实很重要。社科人文领域的评价窗口应该比自然科学要长，例如，若后者看最近两三年中发表的论文在评价年的被引用状况，前者则可能要看最近四五年（甚至更长）中发表的论文在评价年的被引用状况。另外，评价频次也应减少。假如理工科一年一评的话，社科人文不妨两年一评。要允许某些有潜力的人才五年、十年磨一剑。但是，也会有懒人以“十年磨一剑”作为不出活的理由，则不能允许。定量评估代替不了科研管理者的主观判断。 最重要的是，定量评估要与定性评估相结合，而不是代替定性评估。定量指标也可以交给评议人，供他们参考。 以上仅是一家之言，恐怕很多搞具体科研管理的都不接受。
问 题: 二位在前两个问题的讨论我也很感兴趣，我认为如果高校的科研处或人事部门能制定适合不同学院或系的FORMAL LIST就已经是一种进步了，关键是作为具体管理人员需要一种即简单又符合科学规律的评估标准，由于传统的行为方式的影响，实际上我国的科研人员也希望有一套明确的指标，并瞄准它去努力，因此，在我国目前的情况下，与其不厌其烦地去抨击现有的评价制度，还不如马上制定不同层次、不同学科的相应评估指南来得更实际一些，也可以充分发挥政府的导向作用，不知您是否同意我的观点？这样做的难度是不是很大呢？
网友: 艾思科 2005/04/29
答 复: 我非常同意你的观点, 定量评估与定性评估相结合的方向要坚定不移, 评估指标的设定则要因校（系）制宜。如果打算这么做，国外可以借鉴的东西很多，比如，将各种类型的产出都赋以合理的权重（同行评议期刊上的论文，专利，专著，编著，教材或教材中的章节，译著，学术会议上的特邀报告或主旨发言，学术会议一般发言，是否担任学术期刊的主编、编委，是否担任公司的技术顾问，等等），考虑到、照顾到了各种情况，基本不出现被遗忘的角落。 问题的关键，不是这样做难不难，而是教育当局允许不允许这么做。我们现在大一统的现象太严重。大学入学统一考试的严重弊病已经看得很清楚了，可是还看不出松动的迹象。毕业生统一分配其实已经做不到了，但是统一分配的外壳（手续）一仍其旧。社会期待着大学迅速开设新学科（比如，网络游戏、动漫设计的发展需要多少专业人才啊，我们大学有什么响应？），可是，别说开设新学科了，现在连专业名称都是全国统一制定的。不冲破大一统的局面，合理的绩效评估必然是步履维艰。当然，不能等待，还是得有有识之士去大胆探索。
问 题: 再次请教 武教授。在科研评价过程中，我们经常 遇到一个棘手和争议颇多的问题，那就是如何看待增刊（丛刊、论文集等）发表的论文的学术 质量和学术价值问题。有两种常见的观点， 一种是否定增刊的学术价值，认为增刊完全是学术利益驱动下的怪胎，充斥了粗制滥造，败坏了学术空气，在科研评价中对增刊论文理应不予承认； 另一种观点是持肯定态度。理由是增刊同样是学术刊物，付出了作者和编者的创造性劳动。笔者认为，对待增刊要一分为二看待，不能以偏概全。尽管增刊给学术界带来了一定的消极影响，但是很多高水平的学术论文也会发表在增刊上，这是不容否认的，因为现有的学术期刊数量和论文容量有限，难以满足各类研究人员高水平论文的发表需求。据笔者对清华大学全文数据库和中文社会科学引文索引的检索，许多增刊论文的被引频次也比较高。目前国内还没有一家机构专门建立增刊数据库，我想建立这类数据库对科学计量学和科研评价很有必要。本人目前正尝试利用科学计量学方法，利用现有数据库对增刊的学术影响力这一问题开展深入研究，不知您有什么好的建议。谢谢！
网友: 大连理工大学博士生 2005/04/30
答 复: 增刊所产生的问题，从本质上说完全是期刊管理制度造成的。我国期刊管理部门管得实在是太多太细，能否出增刊，每期多少页码，刊名的变更，等等，什么都管。越受管制的东西，越产生本来不具备的“价值”。当年，粮票本来是无价证券。可是没有粮票寸步难行，于是就有人卖粮票，用粮票换鸡蛋。现在，受严格管制的刊物也凭空产生了经济价值，于是就必然有人用它挣钱，出增刊是某些期刊的挣钱方式之一。作为一些面向科研绩效评价的数据库的生产者，不可能一一判断那种增刊是出于赚钱目的，哪种增刊其实也不错，就只好采取一刀切的做法----不统计增刊。如果有关部门不管那么多，期刊社遇到好稿子较多时，每期加几页不就得了？也不用出增刊了，后面一应问题都不存在了。至于基层的科研主管部门，完全可以比数据库生产者更有资格判断，哪些增刊是质量不错的，发表在其上的论文应“算数”。
科研评价指标功与过
https://blog.sciencenet.cn/blog-1557-904759.html
上一篇：美国2014年表现最佳城市
下一篇：新华社对《国家创新指数报告2014》的英文报道
