力学不倦分享 http://blog.sciencenet.cn/u/Mech 读万卷书,参非常道,书在手中,道在心中;行万里路,勘寻常物,路在脚下,物在眼下。https://www.researchgate.net/profile/Li-Qun_Chen

博文

学术评价的个人体会 精选

已有 11739 次阅读 2020-2-24 13:07 |个人分类:科研科普|系统分类:科研笔记| 学术评价, 同行评议, 学术职业研究者

近日教育部和科技部文件《关于规范高等学校 SCI论文相关指标使用 树立正确 评价导向的若干意见》,以及科技部文件《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》,引发人们对学术评价议论纷纷。学术评价包括许多方面,如学术工作的重要性、新颖性、挑战性、影响力等。前述文件的落实,意味着同行评价将起更重要的作用。

 

学术职业的从业者,以通讯或者会议的方式评审同行的稿件、基金、奖项、职称等,是职业工作的一部分。评审者对此应该有平常心。仅是受委托承担评审工作,并不意味着自己的判断力因此变得特别高明。因此还是要尊重其他同行的评价,在评价有矛盾时仔细权衡择善而从,做出自己的判断。对此我有些个人体会。我的工作领域主要是基础性研究,因此下列体会也不适合于评价应用性或者开发性的研究。

 

首先需要明确,基础性研究中的学术工作都是通过论著体现。特别是近两三百年以来,随着学术共同体的形成,学者间交流工作进展的主要形式是论文,当然也不能完全排除著作和讲演等。

 

学术评价最有分量的依据,无疑是同行公开发表的意见。虽然科学史上一些重大突破,当时的同行并没有恰当的评价,但并不能因此否认同行意见的重要性。原因有两点:其一,这类工作很少,因此遇到的可能性不大;其二,同行无法提供正确意见时,也没有其他评价方式。

 

同行公开意见的狭义理解就是在公开发表论文中的评价。通常,评价者的学术地位越高,评价的分量越重。这并非迷信权威,而是有一定道理。虽然名家也可能有看走眼的时候,但一般不至于故意瞎说。毕竟学术信誉来之不易,不会轻易毁掉,自取其辱。发表评价意见的期刊也是个因素。在统计意义上,权威期刊上发表的论文,质量有保证的可能性更大,虽然不能以均值推断样本。

 

广义些理解,他人引用其实也是种同行评价。不仅是绝对的引用数目,而且还有引用者的领域和地域分布。受到广泛引用,那怕没有正面的评价,毕竟也是说明有一定影响。影响不能完全等同于质量,但完全没有影响的高质量工作,尽可以等到有了影响再评价。还需要注意,不同学科和方向,引用情况差别很大。发表论文期刊的影响因子是个参考指标。影响因子并非越高越好。如果论文发表期刊影响因子很高,但论文本身引用较少,这其实也反映了同行的看法。也就是说,发表在高影响因子期刊上的论文,如果没有相应数量和广谱分布的引用,学术质量或许存疑。

 

说点儿题外话。他引数目其实是所谓学术民主的体现。学术民主当然包括人人都可以发表意见,但并不能因此认为所有意见同样重要。在统计意义上,不能在被检索期刊上发表的意见,权重很可能会小于在那些期刊上发表的意见。因此,他引的数目是不能忽视的参数。

 

还有种容易忽略的同行评价,是作者在论文中对自己工作的评价,例如,“本文首次提出……”。有时候,工作的意义在发表时还没有充分认识到,可能在自己的后续工作中解释说明。这种在发表论文中的公开主张,至少得到了审稿人和处理稿件的AE或主编的认可。因此也是种同行接受或认可的评价。有些投稿人或者申请者,在投稿信或申报材料中很强调自己工作的价值,而在自己的论文中也没有类似的说明。如果没有他人评价,这种情况特别要慎重考察。这种考察尤其应该在通讯评议时进行。

 

总之,对基础性研究的评价,首先是看公开发表的同行评议,尤其是权威人士和/或重要期刊会议上的评议。其次是看引用数量,尤其是与同领域/方向/期刊论文比较的他引数目。最后是看经过同行评审的自我评价。

 

最后说几句题外话。我个人觉得对职业研究者而言,破“四唯”也好,破“五唯”也罢,其实都没有关系。最重要的是实事求是,唯实。不唯上,不跟风。做出高质量的工作,以恰当的方式发表。最后,借用郑板桥的《竹石》与职业研究者共勉。

咬定青山不放松,

立根原在破岩中。

千磨万击还坚劲,

任尔东西南北风。




论文与评价
https://blog.sciencenet.cn/blog-220220-1220135.html

上一篇:疫时记事:风月同天
下一篇:夜半水声
收藏 IP: 101.87.41.*| 热度|

22 郭战胜 王安良 马军 代洪华 王启云 廖建岗 姚青 孙颉 范振英 王卫 王代平 黄永义 郑永军 朱志敏 向左甫 武夷山 汪磊 周忠浩 蔡宁 高友鹤 文永蓬 郁志勇

该博文允许注册用户评论 请点击登录 评论 (31 个评论)

IP: 116.230.13.*   回复 | 赞 +1 [10]辜英求   2020-11-29 11:31
陈老师,我也写了一篇学术评价方面的博文,您看有没有道理,帮我指点指点!
回复  出版社都是商业机构,建这种网站能带来利润吗?我不清楚
2020-11-30 22:591 楼(回复楼主) 赞 +1 | 回复
回复  这应由国家法规管理,出版社不是法外之地
2020-12-2 10:312 楼(回复 1 楼) 赞 +1 | 回复
回复     其实只是谁出钱的问题
2020-12-8 22:553 楼(回复 2 楼) 赞 +1 | 回复
IP: 124.200.155.*   回复 | 赞 +1 [9]胡大伟   2020-2-26 19:23
文件只是说明了目标,但实现它的方法步骤是什么,破了之后立什么?却根本没有,所以可操作性为0.
回复  我的博文其实谈的就是操作性方面的个人体会。
2020-2-26 19:421 楼(回复楼主) 赞 +1 | 回复
IP: 101.83.27.*   回复 | 赞 +1 [8]文永蓬   2020-2-26 19:22
同行公开发表的意见,大都在论文的引言,有的时候为了取悦于大家,不太能客观评价,太直接的批评往往导致拒稿。
回复  客观评价
2020-11-30 22:591 楼(回复楼主) 赞 +1 | 回复
IP: 27.17.206.*   回复 | 赞 +1 [7]卢国祥   2020-2-26 11:10
看到好多人在说造假,其实发论文正好是打击造假的重要手段。
论文是否造假,发出来同行看了能知道,老百姓在当时是不会知道的。而且一旦造假,起码其学术声誉将在国际上会受到毁灭性的影响,这个紧箍咒是有意义的。那些造假的“大牛”,如果没有了国际同行的约束,恐怕影响有限。
回复  认同您的看法。一般来说,产生影响的工作,如果造假,迟早会被发现。
2020-2-26 19:381 楼(回复楼主) 赞 +1 | 回复
IP: 110.251.83.*   回复 | 赞 +1 [6]蔡宁   2020-2-25 11:49
因此,他引的数目是不能忽视的参数。
教育部领导说“他引高,不能说明研究成果好,只能说明研究的是热点问题”,我认为这个领导是不懂!
回复  他引次数目前也是普遍被操纵的一个指标,已经出了很多问题,清华大学2018年的丑闻“清华大学11篇论文早被撤稿”http://ah.people.com.cn/n2/2018/1022/c358314-32185052.html
今年的“全球高被引学者,杰出科学明星周国城被曝强制他人引用自己论文”http://www.o9z.net/kj/200208142401147.html
以上全是操纵论文高被引的案例。
总之,任何失去了科学研究实际内容的指标统计数字都是骗人的把戏。
2020-2-25 12:531 楼(回复楼主) 赞 +1 | 回复
回复  同意您所说他引数目是重要参数。我个人的体会还要考虑同学科同方向同期刊的相对他引数目。
2020-2-25 16:112 楼(回复楼主) 赞 +1 | 回复
IP: 124.200.155.*   回复 | 赞 1 +1 [5]胡大伟   2020-2-25 10:51
"受到广泛引用,那怕没有正面的评价,毕竟也是说明有一定影响。",美国大牛首次提出心脏干细胞,发了好多N、S,全世界成千上万人引用,跟进。结果大牛是恶意造假的,这种“影响”,不要也罢!
回复  引用高,跟成果好,有相关性,但不是必然
2020-2-25 11:501 楼(回复楼主) 赞 +1 | 回复
回复  不能完全否定他引量跟成果好坏的相关性
2020-2-25 11:512 楼(回复楼主) 赞 +1 | 回复
回复  例外当然总是存在。博文中说不能用统计均值推导样本,那是统计的过分使用。同样也不能用个别样本否认统计均值。
2020-2-25 16:143 楼(回复楼主) 赞 +1 | 回复
IP: 123.119.232.*   回复 | 赞 +1 [4]高友鹤   2020-2-24 21:30
不能认为高创新性的东西发生的概率很小,从而使用忽略这种最重要创新的评价机制。恰恰相反,应该非常爱护潜心挖掘这种别人理解不了的创新。毕竟这种创新才是真正改变人类社会最深刻的思想。
回复  高创新性的进展发生概率未必很小,但多数这类进展同行评议可以识别。同行评议不能有效识别的创新确实很少。一般有两种情况。一种是在库恩所谓“科学革命”时期,“范式”发生变化,科学史表明这是非常罕见的情况。另一种是创新者完全没有职业研究者的信誉,这在近代科学研究职业化后也很罕见。
2020-2-25 16:191 楼(回复楼主) 赞 +1 | 回复
回复  科学是这类很少的创新推动的。
2020-2-25 21:582 楼(回复 1 楼) 赞 +1 | 回复
回复  我知识有限,真想不出来近50年,有那些杰出贡献,没有被同行恰当地评价。不过,就是有,说实在的,与大多数研究者也没有什么关系。至少我觉得自己没有遇到过。
2020-2-25 22:083 楼(回复 2 楼) 赞 +1 | 回复
回复  那就更需要珍惜。有空关心一下我们尿液生物标志物吧。
2020-2-26 11:204 楼(回复 3 楼) 赞 +1 | 回复
回复  隔行如隔山,您说的领域我完全一无所知。
2020-2-26 19:365 楼(回复 4 楼) 赞 +1 | 回复
hidden
IP: 125.75.161.*   | [3]用户名   2020-2-24 20:38
评论已经被科学网删除
回复  耗费心神
2020-2-24 20:391 楼(回复楼主) 赞 +1 | 回复
IP: 202.113.11.*   回复 | 赞 +1 [2]杨正瓴   2020-2-24 15:52
2008-04-17,杀死同行评议,拯救人类文明
Kill peer review, save civilisation

https://www.timeshighereducation.com/news/kill-peer-review-save-civilisation/401457.article?storyCode=401457&site=cn

    扼杀高新颖的工作并使领先的研究人员“几乎不可能”做出不可预测的发现的“灾难性”科学资助体系正威胁着我们文明的未来。

    The future of our civilisation is under threat from a "disastrous" system of science funding that stifles radical work and makes it "nearly impossible" for leading researchers to make unpredictable discoveries.

    布拉本教授认为,1970年代对研究建议的审查的引入导致了缺乏重大科学发现。他说,最激进的想法不太可能获得资助,因为在被证实之前很难打动同行。 “大约在1970年之前,科学家们相对自由地随心所欲地做事,但是新的规则几乎使不可能的继任者(对于20世纪的伟大科学家)做出发现来促进21世纪的经济增长和繁荣。”
回复  我只是在操作层面谈个人体会。更宏观的问题,留给大家去考虑。
2020-2-24 15:551 楼(回复楼主) 赞 +1 | 回复
回复    
2020-2-24 15:552 楼(回复 1 楼) 赞 +1 | 回复
回复  杨老师,你所说的那个同行评议为投论文,审稿专家的评议,一些处于嫉妒或想剽窃,而有意阻拦发表。而现在讲的同行评议为发表后的内容,基本没那个问题的
2020-2-24 19:113 楼(回复楼主) 赞 +1 | 回复
回复   
2020-2-24 19:264 楼(回复 3 楼) 赞 +1 | 回复
IP: 202.113.11.*   回复 | 赞 +1 [1]杨正瓴   2020-2-24 15:51
2017年05月,《自然》杂志主编坎贝尔(Philip Campbell)先生说:
    如果问问科学家们,他们最引以为傲的研究发表在哪里,他们回答的往往是其他一些不太知名、不太被引用的期刊。
    换言之,《自然》以及其他一些在选择上比较挑剔、又有高影响因子的期刊,仅代表了重要科研文献的一小部分。

    引用自:《科技日报》 2017-05-25,改变科研评估规则,现在是时候了,《自然》总编辑 菲利普?坎贝尔
http://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2017-05/25/content_370085.htm?div=-1
http://news.sciencenet.cn/htmlnews/2017/5/377413.shtm?id=377413
  
   If scientists are asked where they are most proud of their research, they tend to answer a list of other less well known and less cited journals.
   In other words, "nature" and other journals that are critically selective and have high impact factors represent only a small portion of important scientific literature.

    引用自:http://www.bestchinanews.com/Explore/4926.html
Editor in chief of nature: it's time to change the rules for scientific research evaluation

1/1 | 总计:10 | 首页 | 上一页 | 下一页 | 末页 | 跳转

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-2-21 11:57

Powered by ScienceNet.cn

Copyright © 2007-2025 中国科学报社

返回顶部