科学研究的动力和过程分享 http://blog.sciencenet.cn/u/pkustm

博文

[网络时代学术论文质量控制和标记系统案例研究]

已有 4956 次阅读 2012-7-2 17:05 |个人分类:开放获取|系统分类:论文交流| 同行评审, 学术论文, 质量控制, 相对质量, 绝对质量

[网络时代学术论文质量控制和标记系统案例研究]
钟灿涛,万猛,王萍. 网络时代学术论文质量控制和标记系统案例研究[J],情报科学2012(6): 893-898.

部分内容,最终印出的全文请以期刊为准。

摘要:学术论文的质量始终是学术界关注的热点问题。科学研究的内在特点导致学术论文质量评价的困难。传统的学术论文质量控制方法是基于纸媒体传播演化而来。以互联网为代表的信息和通信技术的快速发展对以同行评议为主的传统学术论文质量保证系统提出了挑战,同时也为解决现有学术论文质量保证体系存在的问题提供了新的机会。学术论文质量控制新形式和新方法的涌现促进了传统学术期刊四大核心功能的重新分解和重新组合。本文在深入分析学术论文质量的概念和传统质量控制方法内在矛盾的基础上,研究了中国科技论文在线的学术论文质量控制和标记系统,认为 “先发表后评审”并按五个星级对论文评审结果进行标记的质量控制和标记体系创新地解决了学术论文快速发表、保护原创性思想与学术论文质量保证之间的矛盾。


1.  引言

米哈依洛夫(原苏联信息学家)认为,科学交流是科学赖以存在和发展的基本机制[1]。科学交流过程包括非正式过程和正式过程。以学术期刊为主的学术论文发表和传播机制是整个社会知识积累的重要基础。早在上世纪60年代末,齐曼就曾指出:学术论文发表机制能够把科学研究工作中获得的片片断断的知识系统地公布于世。这种机制使得许许多多人的微薄的贡献能够进入人类知识库,并称这是17世纪以来西方科学的秘密所在[2]学术论文的质量始终是学术界关注的热点问题。科学研究的内在特点导致学术论文质量评价的困难。深入分析学术论文质量的概念和传统期刊质量控制方法的内在矛盾,结合实际案例研究网络时代的学术论文质量控制和标记系统具有重要意义

2.  学术论文的质量概念

做为现代管理学中最基本的概念,质量一词已广泛用于社会各个方面。科学质量的问题早就进入了科学共同体的视野,而科学研究的社会化更突出了对科学研究质量问题的关注。借助现代管理学的概念和方法分析科学研究的质量保证问题成为解决问题的一种思路[3]。学术论文是科学研究的最主要产品之一,因此其质量问题也可以借助现代管理学的方法进行分析。

国际标准化组织制定的ISO 9000标准对质量的定义是:“一组固有特性满足要求的程度 研究学术论文的质量无法回避科学研究的目的问题。科学研究的主要目的就是探索自然界的本质和规律,以求得更多和更深的关于自然的知识。在当今的大科学时代,科学技术的发展始终紧密围绕社会需求,是由国家、政府和其它类型的资助者资助的有组织的社会活动。除了认识自然以外,当代科学研究还负有改造自然并最终为人类造福的使命。

学术论文的读者包括学者、图书馆员、以及社会大众等广泛的群体;出版商、政府、以及相关资助方也是学术论文的直接或间接使用者、受益者或利益相关者。借鉴国际标准化组织的质量概念定义,学术论文质量的概念可表述为:学术论文的内容(独创性或创新性、科学性和真实性)和表达形式(可读性)满足学术交流、知识积累以及其它相关方要求的程度。学术论文对其顾客与相关方要求的满足程度是检验学术论文质量的最重要指标。

质量一词本身就带有评价的意思。学术论文质量评价的困难在于,学术论文属于精神产品,与物质产品比较起来,精神产品质量的评定比物质产品复杂和困难[4]。特别是学术论文内容的创新性和科学性等特性往往需要经过较长时间才能够比较客观地进行判断。

传统的科学史家也许会用一套绝对的标准评价科学论文的质量。但使用这样的定义时,只有用历史回顾的方法,才能测量出工作成果的绝对质量[5]。由于现实的需求,可能无法等那么长的时间再来评价论文的质量,因此还可以采用相对质量的定义,即某人的工作质量高是指他的同行认为这项工作现在是有用的。这种方法下定义的质量不是一种对工作成果的绝对质量的测量,而是一种能满足要求的测量工作成果质量的方法,是以社会定义作根据的[6]

学术论文的质量评价和质量保证,始于其生产过程。无论是大胆的假设、理论的推导,还是实验观察,构成论文最主要内容的科学内容在其形成过程中不断受到作者本人以及同行正式或非正式交流过程中的质量评价。只有达到了基本的要求,作者才会动手撰写并发表论文。期刊同行评审过程相当于对论文质量是否达到最基本要求进行认可。论文发表以后的质量评价也在不断进行。例如,近年来得到快速发展和应用的引文分析被普遍认为是同行认可论文质量的一种有力指标。一般来说,引用数高的论文质量较高。事实上,无论是以同行评审为主的期刊学术论文质量控制机制,还是以基于论文引用等文献计量学指标对学术论文进行的质量评价,采用的都是前述意义下的相对质量概念。

总结来说,学术论文的质量控制和评价包括以下几个阶段。发表前论文内容的质量控制通过科研过程和同行评议完成,形式质量则通过同行评议和编辑流程来保证,发表后的相对质量评价则通过同行引用、同行评议、社会价值等多方面来评价。而绝对质量的判断一般需要更长的时间。这实际上也是学术论文的内在科学价值和社会价值沿着时间轴逐渐展现的过程。

3.  学术论文质量控制方法的发展

31 传统质量控制方法及其内在矛盾

17世纪印刷术在西方的传播使得文字印刷成为长久保存科学发现的一个好方法。学术论文逐渐成为交流科学发现的最主要形式,作为科学论文的读者-科学家期望他人的成果首先经过一定权威的评价,这样在阅读时就会有针对性,从而省去甄别真伪的麻烦[7]。科学论文评审的主要功能就在于判断论文所表述科学发现的真实性和待发论文的可接受程度,也就是判断论文的质量。

互联网出现之前,科学交流的正式系统就是学术期刊。现代学术期刊的同行评审制度是科学研究进一步专业化分工的结果。专业分化使得单靠编辑已经不可能对接收到的所有投稿进行评价了。大约100年前,科学期刊开始将论文转给编辑委员会的著名专家进行评审。最后,特别是第二次世界大战后科研活动的繁荣时期,科研论文的数量猛涨,且越来越专业化,即使是由一、二十位专家组织的编辑委员会也已难于应付。学术期刊的同行评审系统就是应这一需求而产生的[5] 

二十世纪的学术出版将同行评审隐藏在整个出版流程之中,以至于对同行评审的思考往往与整个出版和发行过程混为一谈。在这样一种体系中,出版社(商)、期刊或所依托学会的声誉代表了其内部的同行评审流程,即如何选择可靠、称职的评审人来判断稿件的形式和内容是否符合(达到)特定出版体系的基本要求[8],而最终的决定仍然是编辑来做。这一系统很好地适应了上世纪初特别是二战后纸媒体时代科学研究规模的迅速增长以及从事科学研究的人数和学术论文数量的快速增加。传统期刊的同行评审系统很好地起到了保证稿件基本质量的作用。

创新是推动科学研究突破性发展的灵魂。但真正的突破性创新在刚出来的时候,往往只有很少人具有判断力,大多数人,甚至所谓的专家也没有能力去判断。从历史上看,并不是绝对质量高的科学论文都是通过同行评审产生的。许多标志性的科学论文(如沃森和克里克的著名论文)从来也没有经过同行评审。同时,同行评审并不总是能够判断出论文的绝对质量。 “许多被广泛引用的论文,包括一些最终导致作者获得诺贝尔奖的论文,最初都被同行评审所拒绝。” [5] 这正是同行评审制度被批评最多的缺陷之一。事实上这一缺陷是内生的[9]。对于有些创新性思想,即使是最具开放思维的人可能也没有办法或能力接受。因为真正的创新者是没有同行的[10]。有些人甚至会因为种种原因压制创新者。科学发展史上压制创新者的例子屡见不鲜[9]

传统学术论文交流系统中质量控制和保护创新始终是一对非常难以调和的矛盾,大多数编辑(和审稿人)实际上都是不断在这两者之间寻求某种平衡。但由于两者之间的冲突是内在的,很难有统一的方法来解决。有专家指出,同行评审制度对科学研究最关键的影响就是特别鼓励那种在大量积累基础上改进性质的工作,不鼓励特别创新的工作[11]

要解决这一内在矛盾,科学判断学术论文的质量,一方面必须回归到学术论文,乃至科学研究的根本目的。大多数人都认为同行评审的目的是质量控制。然而,质量控制仅仅是达到目的的一种手段,而非目的本身。同行评审的目的应当是科学知识的创造和积累,并最终造福人类。质量控制和保护创新之间的矛盾还与技术本身的限制密切相关。例如,在纸媒体时代期刊本身的容量是有限的。有识之士早已经认识到这一点,因此要解决这一矛盾,还需要寻求新技术的支持。

 

32 网络时代的新机遇

以互联网为代表的信息和通信技术的发展使学术论文传播的新模式成为可能。科学家分享、交流和利用学术研究成果的方式正在发生快速、根本且不可逆转的变化[12]。互联网时代的学术出版正在走向与纸媒体时代相对的另一个极端。媒体容量已不是问题,发表的门槛已经基本消除,谁都可以方便地在网络上发表自己的见解,即使是最极端的思想,也可以找到发表的平台。但问题恰恰就在这里,没有质量标记的大量信息,对于学者来说没有太大的价值。研究人员客观上需要一种机制来帮助他们识别和过滤海量的信息。从整个科学界和社会总体的层面来看,保护原创性思想非常重要,需要为此类原创性思想提供良好的交流(和存储)平台。

科学研究领域目前正在发生的以开放获取(Open-access)、开放数据(Open-data)和开放科学(Open-science)为代表的一系列“开放”运动已经从最初的仅仅应对期刊价格危机发展成为对整个学术交流系统的重新思考和流程再造。传统学术期刊有四大核心功能:注册科学发现的优先权;对研究的质量和正确性进行基本的认证;透过期刊的发行实现学术研究成果的传播;学术研究成果的保存。技术的融合使学术交流的新业务模式成为可能。通过这四大核心功能的重新组合能够产生多种不同的业务模式[13]。例如,Leo Waaijers就建议资助方应当出资研究如何提供可替代现有同行评审的“非私有同行评审(non-proprietary peer review )”服务[14],即完全将同行评审从传统学术期刊的核心功能中剥离出来,做为独立的服务来提供,而且不要求将学术论文的版权转移给同行评审服务的组织者。

传统学术期刊已经或者正在转向互联网平台,以加快评审和编辑流程,从而缩短论文与读者见面的时间。本质上此类在线期刊仅仅是其对应印刷版的在线数字版布局[12]。“纯”开放获取期刊消除了访问方面的障碍,但它们大多数采用的仍是传统的同行评审方式。

新技术的发展既对以同行评审为代表的传统学术论文质量保证系统提出了挑战,同时也为解决现有学术质量保证体系存在的问题提供了新的机会。事前和事后学术质量控制的新形式可突破传统同行评审的局限,部分替代或补充同行评审。开放式同行评审,在线评论,质量评级,访问数量以及使用情况跟踪等新形式和新指标都可能成为新时期(网络时代)学术论文质量控制机制的一部分[15]

目前,已经有一些纯开放获取类的期刊开始采用新的同行评审形式,以充分利用网络新技术所提供的交互优势。其中一个例子就是PLOS ONE的轻度同行评审(light-touch peer review)。在其轻度同行评审过程中,发表的唯一标准就是文章在方法学上是正确的。因此PLOS ONE发表一篇论文(在线,或存储到PubMed知识库中)的时间可缩短到两至四个周。尽管对这一轻度评审方法存在许多争议,但PLOS ONE这一激进的业务模式确实取得了很大成功。Peter Suber曾说:“移除访问障碍和改革同行评审是互相独立的两回事” [16]。这当然是正确的,但PLOS ONE的例子表明将两者结合起来能够为学术交流带来更多好处。

总之,在新技术、新思想和新运动的推动下,学术交流的方式出现了多样化的趋势。学术论文的质量控制方法也必须演化适应这一新的形势。整个学术界,包括学术出版商,都在探索解决问题的新机制。尽管对于质量控制的必要性存在共识,并且同行评审仍然是不同质量控制系统的核心,但在质量控制和标记如何实施,同行评审的时间、深度以及由谁来组织实施等方面仍然需要大胆的探索,并在此基础上总结经验。理想的系统应当能够平衡保护原创性思想和质量保证之间的矛盾,通过学术论文的快速发表来加快学术交流过程。

4. 独特的质量控制和标记系统

。。。。。


6.  结论

国内外学术交流领域正在探索多种学术论文传播的新模式。无论哪种业务模式,学术论文的质量控制和标记系统都是其核心。中国科技论文在线提供的同行评审服务在某些方面象Leo Waaijers所建议的“非私有同行评审”服务,但实际上走得更远,其创造性和核心价值主要体现在两点。首先,独特的“先发表,作者自选同行评审”方式为学术思想优先权的注册和保护创新思想提供了更好的条件,能够让绝对质量有可能很高,一时不为同行所认识的非共识性学术思想提供一个发表和交流的平台,解决了同行评审机制容易埋没重要科学发现的弊端。其次,结合五星级质量标记系统创新地解决了快速发表(注册优先权)和质量保证(通过后评审和星级标注)之间的冲突。学术论文发表的同时也意味着后同行评审(post peer-review)过程的开始,众多处于同级知识水平的读者(学者)能够针对文章内容给出进一步的评价和诠释,同时还会发现潜在的数据错误以及原作者有意或无意的片面解释[20]

在促进国内学术交流领域发展,特别是在探索创新的学术论文质量保证方法方面,中国科技论文在线做出了有益的尝试。这一方面可以解决当前我国学术期刊版面增长速度跟不上科研资金投入和科研人员数量快速增长以及职业发展压力所带来的论文发表需求增长的速度这一矛盾,同时还可以吸引更多的原创性科研成果更快更及时地在国内发表,从而更有利于国家的科技创新和经济发展。中国科技论文在线为研究网络时代学术论文质量保证问题提供了一个生动的案例,即使在全球范围内都具有独特的价值。结合理论研究,跟踪并研究这一独特机制及其长远影响将可帮助学术界更深刻地了解互联网时代学术交流的本质和变化。




https://blog.sciencenet.cn/blog-373161-588208.html

上一篇:Nature出版集团出版采用Light-Touch Peer Review的开放获取杂志
下一篇:开放获取提高学术论文影响力的真实案例(现在进行时)
收藏 IP: 124.205.76.*| 热度|

2 武夷山 徐学友

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-20 11:22

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部