||
科技指标在科研绩效评价中的功与过
(按: 2005年间,笔者在“中国科技信息”网(www.chinainfo.gov.cn)上就科研绩效评估问题与广大网友进行了交流,讨论很热烈。现将部分问答与讨论放在这里,希望引起进一步的思考。)
近年来,围绕《科学引文索引》(SCI)在科研绩效评价中的作用与功过,曾发生非常激烈的争论。这一争论只是科研绩效评价问题上种种不同意见的一个缩影。本人愿意与网友就这一问题进行切磋讨论,以期将我国的科研绩效评估搞得更好。
问 题: 请问:据我所知道,中国的很多数据都不准确,包括国家统计局发布的各项统计指标也是如此,那么请问,我国的科技统计数据是不是准确,如果这种数据的不准确来评价科研效果,是不是也很片面?
网友: 王大为
答 复: 科技统计数据当然要力求准确。但是,绝对准确是难以做到的。即使数据未能做到百分之百准确,通过合理的分析,仍能看出一些趋向和问题。好比说,一只手表总是慢或者快,只要我掌握了其快慢的幅度,仍能用它计时,总比没有手表要好。很多不准确的数据都是自报数据。通过第三方来获取的数据往往要好些。
问 题: 您怎么看待论文在个人科研绩效评价中的作用,比如,最近出现的的上海交大一位老师因无论文发表而不
网友: 艾思科
答 复: 对于科研型大学,要求教师注重发表论文是天经地义的。要知道,写论文并不是为了评职称;而是说,学术期刊是交流科学思想的主渠道,有了成果或想法当然要发表出来,与同行分享。如果不发表出来,就像一个人在个人生活中想倾诉而无处倾诉一样难受。以教学为主的人,可以少发表些论文,但根本不写论文也不合适,因为,写论文的过程是将某些想法提炼升华的过程,对教学肯定是有益的。最起码,将教学经验总结提高一下,将感性认识上升为理性认识,总是可以的。 当然,万事切忌一刀切。个别教学水平极好的老师,由于某种原因没有论文,应当也可以作为特例而评教授。好比当年钱锺书考清华时,数学不及格,语文呱呱叫,清华照样破格录取。如果绝对一刀切,没有例外,则也许将
问 题: 请问,目前科研绩效评价包括对个人的评价(如论文收录情况),也包括对科研项目的评价,请问
网友: sunny
答 复: 对科研项目的评价指标,随项目的性质而异,而与下达项目的“层次”(中央政府,地方政府,大学,研究所)没有太大关系。例如,对于973计划(基础研究计划),就将论文发表量和论文的影响力作为很重要的指标。对于863计划(高技术发展计划),由于希望高技术研发的成果转化为现实生产力,就不仅要衡量论文指标,还要看专利申请与获准的数量。论文指标与专利指标都是量化指标。某些定性指标也可以转化为定量指标(通过评估专家的打分),好比青年歌手电视大奖赛上,其实所评估的演唱水平、艺术素质等都是定性指标,但仍旧以评委打分这一定量形式表现出来。至于是否用一种较正式的指标体系(将各种指标都赋予权重)来评估,还是让专家分别考量和评判各种指标,最后做出模糊的总体判断,则取决于评估委托方的要求。
问 题: 目前在科技论文统计方面的工作国内有好几家,请问这些指标都是雷同的吗?是不是重复建设,哪一家更权威一些?
网友: linker1960
答 复: 几家论文统计单位的主要差异是统计源,有的偏于科学期刊,有的既包括科学期刊,也包括大量工程技术期刊,有的专门统计社会科学期刊。当然,每一家都会计算期刊的影响因子这样的典型指标,但是,各家也各有其特点。例如,在社科人文领域,南京大学的《中文社会科学引文索引》数据库的建设者考虑到在社科人文领域,专著成果的相对重要性要远远高于自然科学领域(在那里,期刊论文成果最重要),因此,他们的数据库可以方便地反映出有关专著是哪个出版社出版发行的,这是一个亮点。 根据数据库中的数据,可以设计出很多不同指标,各家可以各显其能。到目前为止,在推出指标的丰富性和时效性方
面,似乎是中国科技信息研究所的“中国科技论文引文数据库”做得较好。例如,期刊的扩散因子,就是该数据库建设者根据国外同行的研究成果率先在国内推出的。 至于是否重复建设问题,不好简单化地回答。打个比方,在美国,若一家公司做电视机做得已经不错,其他厂家就会专攻其他电器,不与其争锋。在日本,日立做电视,松下和东芝也做。洗衣机、电冰箱、空调器,等等,三家都做。激烈竞争的结果,日本电器的质量日臻完美。中国的几家数据库既有竞争关系,又有互补关系。
问 题: 请问我国各企业的科研投入量/率,在哪里可以查到呢?
网友: 小胖
答 复: 国家统计局的企业调查大队有500多人,每年都要对企业的各种指标(包括研发支出数据)进行调研,因此,国家统计局掌握的企业数据是最全的,但这些数据并未全部公开。国家统计局主管的《中国国情国力》杂志上不时披露一些有用数据,可以参考。另外,通过上市公司的年报和上市公司按照证监会要求所公开的财务数据,能了解到上市公司的研发支出额。
问 题: 请您推荐几种较好的关于科技指标和科研评价研究的期刊或书籍(国际及国内),谢谢!
网友: 艾思科
答 复: 常登这方面研究成果的国内期刊有:科研管理,中国科技期刊研究,科学学与科学技术管理,情报学报,等等。国外期刊有:Research Evaluation, Research Policy, Research • Development Management (Industrial Research Institute的会刊),Science and Public Policy, 等等。这方面的中文图书有:科学技术测度体系(周萍 等翻译,武夷山审校,科学技术文献出版社,2004),科研评价与指标(蒋国华主编,红旗出版社,2000),科研评价与大学评价(王战军 蒋国华 主编,红旗出版社,2001),等等。国外著作有:Measurement and Statistics on Science and Technology, 1920 to Present (BenoÎt Godin著, Routledge出版社,2005,博主
问 题:
网友: 下里巴人
答 复: 定量评估方式与定性评估相结合是具有普遍意义的。例如,拿教学评估来说,可以采用学生自愿选修某老师开的课的人数、学生选修这门课后的出席率(是否出席者越来越少)之类的指标,配合学生在课程结
问 题 请解答: 科技评估 、科技评审、科技评价、科技评议的区别?谢谢!
网友: 网友
答 复: 这几个词是同义词或近义词,随习惯而用于不同场合。英语的对应词有Assessment,Evaluation, Review等。论文一般用评审这个词(Review),同行评议,英文是Peer Review,项目用评估(Evaluation),层次更高时,比如整个技术领域(核技术),用Assessment,过去美国国会有技术评估局(Office of Technology Assessment)。英国政府对大学科研绩效搞评估也用Assessment这个词。但是,它们之间的区分不是刚性的。
问 题:
网友: 一个初学者
答 复: 我不是经济学者,对国际直接投资(FDI)不熟。据我的粗浅看法,主要影响因素有:投资者对潜在投资市场投资回报率的预期(这里又要考虑劳动力成本,原材料的成本,金融业的效率,等等),对潜在市场风险性的预期(包括政治局面的稳定程度,政府法规是否多变,市场规范程度,等等)。这是主导因素。当然,有时候,发达国家为其总体战略服务,也可能将政治因素放在第一位,将FDI作为工具,而不是把投资效益放在第一位。像50年代朝鲜打仗时,美国对日本、台湾有很多的投资。以上回答不一定对。
问 题: 请问您对目前某些高校对教师实行的以影响因子乘以论文数的计分原则怎么看?
网友: 艾思科
答 复: 我个人对这种做法持强烈质疑态度。要想评估个人论文的质量,就要看其论文到底是否被引用了,自引还是他引,肯定性引用还是批评性引用,等等。发表在高影响因子的期刊上不等于被引用。进一步说,发表在低影响因子刊物上未被引用还情有可原,因为那个刊物没人注意;发表在高影响因子刊物上却未被引用,则比前一情形还要糟糕。怎么可以从优奖励更糟糕的情形呢(假定发表在高影响因子刊物上却未被引用)?
问 题:
网友: 小刘
答 复: 如果是发表在社科期刊上的论文,要查找被引用情况,可以用南京大学开发的“中文社会科学引文索引数据库”;若是了解科学技术期刊上的论文的被引情况,可以用中国科技信息研究所的“中国科技论文引文数据库”。不过,由于这两个库的开发没有依赖政府的经费,其检索服务都是收费服务。 Chinainfo提示:中国科学技术信息研究所的论文统计组电话是:(010)58882552
问 题: 按您的经验,一个学者一年内究竟能够发表多少篇学术论文?应该是有一个极限的吧?这个数量可能与学科有一定的关系。另外,研究生(博士生)的论文到底谁应该属第一作者?国外有没有我们可以借鉴的经验?
网友:
答 复: 世界上形形色色的人都有,高产作者的本事令一般人叹为观止。例如,美国新墨西哥大学的化学家Joseph Wang教授(他长着洋人的面孔,尽管是中国姓)是近年来的世界最高产作者,在1991至2001年间发表了444篇SCI论文(年均40.4篇),被引次数高达2078次。(此消息见http://www.nmsu.edu/~ucomm/Releases/2002/May2002/Wang_ISI.html)匈牙利杰出数学家埃尔德什一辈子发表了1475篇论文,吓不吓人?对于这样的能人,高产并不意味着论文质量不行。 对于师生合作,我没听说过国际上有什么固定的排名规矩。一般而言,按贡献大小,贡献大的排前面。但是,有时候贡献大小是讲不清的。出思路重要呢?还是做实验重要呢?谁说得清楚。经常有的一种排名方式,是学生(或晚辈)在前,导师(或权威)在后,但是,通讯作者(Correspondence Author)是导师,这样,读者仍能看出来谁重要。
问 题: 在中国的科研绩效评估中,一般认为在中国科技期刊上发表论文不被重视,于是中国的期刊编辑部门总是抱怨论文外流了,于是有人建议重大项目必须在中国期刊上首发,您认为合理吗?可行吗?
网友: 艾思科
答 复: 科学家有祖国,但科学无国界。因此,我个人不同意轻率使用“论文外流”这种说法。简单化地用“必须”二字来限制稿件流向,既不合理,也不可行。但是,缺乏优秀稿源,国内期刊确实难以发展。我的建议是:1、国内期刊要提高稿件处理流程的效率,使发表时滞缩短,这是与国外期刊竞争的有力武器;2、科学家个人在向国外期刊投稿后,用中文重新表述自己的成果(不是将英文稿翻译过来),投给国内期刊。西方一些科学家认为,为了使自己的学术观点发生影响,扎下根来,有必要在不同杂志上发表主题思想类似的多篇文章。这种行为不属于一稿多投。
问 题:
网友: 小刘
答 复: SCI的收录原则是,只要将某刊作为源期刊,其上的所有类型的文献都收录,不管是论文、综述、社论还是读者来信。而有些数据库,如EI(工程索引),则是选择性收录,比如,某刊虽然是其源期刊,但被选用的论文数也许只占期刊登载论文数的三分之一。两种方法各有优缺点。 很多大学的图书馆或大型公共图书馆都订购了SCI网络版,即Web of Science, 可以用它查阅论文被引情况。如果不方便或不具备条件,可以委托中国科技信息研究所(或其他类似图书信息机构)的信息服务中心或“中国科技论文统计分析课题组”代为查询(查询者要提供自己论文的英文题目、发表期刊的名称及发表年卷期、本人英文名字拼法等信息)。这是一种收费服务。
问 题:
网友: 杨蕾
答 复: 很多数据库都能查到你需要的文献,例如,我在“国家科技图书文献中心”(www.nstl.gov.cn)的网站上,选择“中文期刊”类别,在数据库的“关键词”字段中查找符合“温度”、“检测”和“高炉”的文献,就查出来6篇,你应该多摸索摸索科技文献检索方法,并不难。
问 题: 在科研项目的评价与评估过程中,如何组成专家评审团才是合理的呢?是不是学科越小,越准确?目前据说许多大项目都是一个评审小组评多个项目,这样仿佛不太合理。国外的管理部门是怎么做的?有没有从科学角度研究这方面问题的文章?
网友: 艾思科
答 复: 你提的问题非常好,很内行。评审专家应该是内行,但未必圈子越小(从专业范围说)越好,因为小到一定程度,即使匿名评审,评审者也知道是谁提出的项目,这样就又不好说话了。另外,大有大的好处,大行当的专家(比如,能源问题研究专家,而不一定是太阳能电池的专家)更可能从比较宏观的角度,从科技与经济结合的角度去看问题,不一定是坏事。澳大利亚科工组织(CSIRO)确定优先领域时,请的也是大(从专业范围说)专家。各种方法各有利弊,什么都不能绝对化。解决现存问题的出路之一,是搞国际评审,这样更加公正。目前,某些单位在试行请海外华人专家参加评审,效果很好。下一步可以试验让“洋人”参加评审,但是,那就得将项目申请写成英文。此外,专家要有自觉性,别人请你参加评审,若你发现自己对待审项目不懂行,就应该谢绝,而不能不懂装懂,混评审费。这样不懂装懂的专家不多,但是并非没有。我本人无论在评审学位论文或期刊投稿还是在评审项目时,一碰到我不熟悉的领域的东西,一定婉言谢绝,请主持单位另请高明。
问 题:
网友: 网友
答 复: 你对评估与评审的划分很有意思,可以参考, 但是,迄今人们并没有取得共识。我个人不太注重在采用那个术语上斤斤计较,关键是做了什么。我想反复强调的是,千万不要以为,某种方式比另一种方式更好。例如,第三方评估有其优势,但并非所有评估都得依赖第三方机构。西方有些国家政府中也有专门的评估部门,其人员非常专业化,其评估水准绝不亚于社会评估部门。有时候,采用第三方评估,不是因为其专业水平高,而是为了有一个公正的外表。安达信公司这样的咨询公司就属于第三方服务公司,照样可以同委托方沆瀣一气。 即使按照你的定义,也不能说,评估代替评审是个趋势。根据你的定义,评估成本必然大大高于评审。而有些项目的金额本来不大,若大张旗鼓地搞评估,则项目管理成本占总项目费的比例太大,显然不合理。与其这样,还不如少花些评估费,多支持一些项目呢。 在全世界,广义的评估都是个热点和难点。本所的张义芳研究员主编的《科普评估理论初探与案例指南》(科学技术文献出版社,2004),尽管探讨的是科普评估,但是,对于其他项目评估也有启发。联合国开发计划署(UNDP)编写的《面向结果的监督与评价》(科学出版社,1999)亦可参考。
--------------------------------------------------------------------------------
问 题:
网友: 网友
答 复: 在全世界,广义的评估都是个热点和难点。本所的张义芳研究员主编的《科普评估理论初探与案例指南》(科学技术文献出版社,2004),尽管探讨的是科普评估,但是,对于其他项目评估也有启发。联合国开发计划署(UNDP)编写的《面向结果的监督与评价》(科学出版社,1999)亦可参考。本所翻译、我本人校译的《政府研发的经济影响评估》(科学技术文献出版社,2005)是本非常好的小册子。
问 题: 经常可以看到英国、美国等国家的一些项目评估的相关文章,发展中国家的却很少见,请问我国的科研项目评估以及科研评价工作在发展中国家中处于什么水平?在整体框架的建设上是不是已经走在前面了?或者说形式上已经与发达国家同步了?以您的经验,目前最重要的是解决什么问题?我个人认为专家的诚信度还是一个很重要的因素。
网友: 艾思科
答 复: 我对其他发展中国家的科技评估水平没有系统研究, 不敢妄加判断。但应当说,评估水平与一个国家的总体发展水平,与专业化分工水平是大致相应的。 我国的特点,是政府的作为能力比较强。由于认识到政府花的都是纳税人的钱,总要对纳税人有所交代,因此,政府部门近年来的评估工作总体上是大大加强了,规范了,也可以说评估框架的雏形已经有了。与发达国家的差距不在框架上,而在认识水平上。比如,一个国家的社会科学研究水平不高的话,评估(它显然主要与社会科学的方法与思维相关)能力也高不到哪儿去。我大胆地说,我国社会科学水平不算高。随便翻开社科杂志就可以知道,很多作者不是持平等讨论问题的态度,而是颐指气使地教训人,老子就代表真理。陈向明的《质的研究方法与社会科学研究》(教育科学出版社,2000)一书中的很多真知灼见,社科界把握理解了的恐怕不多。在软科学界和科技评估界似乎也存在着伪定量研究盛行、却抓不到问题实质的严重问题。 科技评估方方面面问题很多,不知从何说起,只说感受比较强烈的一条。现在,审计部门、财政部门似乎最关心的是:钱的使用要符合规定,不该支的项目坚决不能支。而对经费的使用效果的关心反而不够。在财政部门、审计部门越来越严的管理下,科技管理部门只有加强经费管理,加强立项评估。其结果,非共识科研项目更难上马。吴文俊院士曾谈到,当年,国家科委给了他的机器证明科研项目很及时的支持。我猜测,当时主要是国家科委的某位官员支持这个项目,因为那时没有像现在那么规范的评估。如果
问 题:
网友: 大连理工大学
答 复: 社会科学与人文学科的绩效评估确实更加困难复杂。我个人没有对此作过专门研究,仅发表一些点滴思考。第一, 有关数据库需要作出调整以适应社科人文领域的评估。例如,在该领域,专著的重要性要比自然科学领域大得多。可是,所有SSCI类型的数据库都只通过期刊的参考文献来反映被引情况,这显然不全面。如果哪个数据库也将一些著名出版社的社科人文专著的参考文献也统计进来,这个数据库的评估功能就如虎添翼了。再进一步说,社科人
问 题: 再次求教
网友: 大连理工大学一博士生
答 复: 首先我想说的是,由于社科人文不像自然科学与工程那样具有普适性(大致说来),就不太可能设计出放之四海而皆准的评估指标体系。要承认这个基本前提。中国很多大学都自己搞了一套核心期刊(或A类期刊)名单,评职称什么的,就要看是否在单子所列的期刊上发表文章。这种做法比简单采用某一数据库的源期刊作为本校的核心期刊,已经是一种进步了。而国外社科界似乎没有普遍采取这种做法。据一项研究,被调查的496个管理系中,只有14%编制了这种期刊清单,他们叫Formal List (见David D. Van Fleet et al., A theoretical and empirical analysis of journal rankings: the case of formal lists, Journal of Management, 2000, 26 (5): 839-862. ) 被调查的单位普遍认为,搞这么一套单子,总起来说弊大于利。这样一比的话,我国社科界有些太“超前”了。 第二,社科人文领域之内,各学科也不一样。经济学这样已经比较“硬”的学科,采用定量评估法的问题不大。文史哲就比较困难。因此,永远不能一刀切。 第三,你提到的评价的时间范围,确实很重要。社科人文领域的评价窗口应该比自然科学要长,例如,若后者看最近两三年中发表的论文在评价年的被引用状况,前者则可能要看最近四五年(甚至更长)中发表的论文在评价年的被引用状况。另外,评价频次也应减少。假如理工科一年一评的话,社科人文不妨两年一评。要允许某些有潜力的人才五年、十年磨一剑。但是,也会有懒人以“十年磨一剑”作为不出活的理由,则不能允许。定量评估代替不了科研管理者的主观判断。 最重要的是,定量评估要与定性评估相结合,而不是代替定性评估。定量指标也可以交给评议人,供他们参考。 以上仅是一家之言,恐怕很多搞具体科研管理的都不接受。
问 题: 二位在前两个问题的讨论我也很感兴趣,我认为如果高校的科研处或人事部门能制定适合不同学院或系的FORMAL LIST就已经是一种进步了,关键是作为具体管理人员需要一种即简单又符合科学规律的评估标准,由于传统的行为方式的影响,实际上我国的科研人员也希望有一套明确的指标,并瞄准它去努力,因此,在我国目前的情况下,与其不厌其烦地去抨击现有的评价制度,还不如马上制定不同层次、不同学科的相应评估指南来得更实际一些,也可以充分发挥政府的导向作用,不知您是否同意我的观点?这样做的难度是不是很大呢?
网友: 艾思科
答 复: 我非常同意你的观点, 定量评估与定性评估相结合的方向要坚定不移, 评估指标的设定则要因校(系)制宜。如果打算这麽做,国外可以借鉴的东西很多,比如,将各种类型的产出都赋以合理的权重(同行评议期刊上的论文,专利,专著,编著,教材或教材中的章节,译著,学术会议上的特邀报告或主旨发言,学术会议一般发言,是否担任学术期刊的主编、编委,是否担任公司的技术顾问,等等),考虑到、照顾到了各种情况,基本不出现被遗忘的角落。 问题的关键,不是这样做难不难,而是教育当局允许不允许这么做。我们现在大一统的现象太严重。大学入学统一考试的严重弊病已经看得很清楚了,可是还看不出松动的迹象。毕业生统一分配其实已经做不到了,但是统一分配的外壳(手续)一仍其旧。社会期待着大学迅速开设新学科(比如,网络游戏、动漫设计的发展需要多少专业人才啊,我们大学有什么响应?),可是,别说开设新学科了,现在连专业名称都是全国统一制定的。不冲破大一统的局面,合理的绩效评估必然是步履维艰。当然,不能等待,还是得有有识之士去大胆探索。
问 题: 再次请教
网友: 大连理工大学博士生
答 复: 增刊所产生的问题,从本质上说完全是期刊管理制度造成的。我国期刊管理部门管得实在是太多太细,能否出增刊,每期多少页码,刊名的变更,等等,什么都管。越受管制的东西,越产生本来不具备的“价值”。当年,粮票本来是无价证券。可是没有粮票寸步难行,于是就有人卖粮票,用粮票换鸡蛋。现在,受严格管制的刊物也凭空产生了经济价值,于是就必然有人用它挣钱,出增刊是某些期刊的挣钱方式之一。作为一些面向科研绩效评价的数据库的生产者,不可能一一判断那种增刊是出于赚钱目的,哪种增刊其实也不错,就只好采取一刀切的做法?D?D不统计增刊。如果有关部门不管那么多,期刊社遇到好稿子较多时,每期加几页不就得了?也不用出增刊了,后面一应问题都不存在了。至于基层的科研主管部门,完全可以比数据库生产者更有资格判断,哪些增刊是质量不错的,发表在其上的论文应“算数”。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-8-17 21:17
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社