zhang2sha的个人博客分享 http://blog.sciencenet.cn/u/zhang2sha

博文

系统综述(含Meta分析)中的八大问题

已有 1558 次阅读 2023-3-20 20:13 |系统分类:科研笔记

      综述,作为一种重要的对当前某一领域研究结果的总结性研究,其方法本身,也越来越专业。正所谓江湖如潮人如水,现在,一般描述性的综述似乎已很难发表。取而代之的则是越来定量化的综述,我们可以称之为系统综述(包括meta分析)。虽然系统综述都声称自己是按照一定的流程完成的,这种方法本身也存在各种各样的问题,忽视这些问题的存在,同样也会导致不可靠的结果。2020年Nature Ecology and Evolution杂志发表题为“Eight problems with literature reviews and how to fix them”的论文,指出了当前生态环境领域影响系统综述可靠性的八大共性问题(Haddaway et al. 2020)。

图片1.png

系统综述的一般步骤框架

图片2.png

这里本人就这些问题,做出简要介绍和评论。

1) 缺乏足够的利益相关方的参与

这个主要针对具有强烈的经济、社会或行业意义的综述,这些综述往往又会对行业发展、政策制定起到一定知道价值。比如综述油料作物大面积种植的影响时,如果仅关注这种种植对生物多样性的影响,而忽视了其在削减贫困,经济效益等方面的价值,势必会受到相关利益相关方(如油料企业,政府,种植园从业人员)等人的不满。对于从事基础理论研究的科研人员来说,这一点,似乎问题不大。

2) 文章内容跑偏,与其声称的主题不符

这里列举了一个例子,一项研究声称自己的目的是探讨昆虫数量下降的驱动因素是什么,但内容却是针对所有种类的种群变化的分析,而不是专门针对那些数量呈下降趋势的物种的分析。这就是典型的文不对题,事实上,具有这些问题的综述,在生态环境领域似乎并不少见。时常能看到一些文献,题目写的如痴如醉,一看内容,驴唇不对马嘴!

3) 综述的文献搜集,数据分析,结果呈现不透明,不可重复

这个似乎是当前系统综述中存在的最大问题,尤其对于生态环境这类研究结果变异比较大的学科,更是如此。即使针对同一主题的研究(如BEF关系),结论相反的案例也常有看到。所以这一过程中的透明,可重复非常重要。现在质量较高的一些学术期刊,已经要求综述论文要有明确的PRISMA流程表,同时需要把采用的文献列表,数据和数据分析代码都发到永久数据库里公开,这样才可以接受大家的检验,有利于研究的深化和对矛盾来源进行分析。比如NEE本身,几乎每篇论文都有重复这篇论文中结果的数据和数据分析代码,这个值得大大的点赞!最近也看到有研究,因为论文发表之后,不愿意公开相关数据导致论文又被撤稿的案例,如无特殊原因,这值得引以为戒,声称要公开数据,但最后不公开,想混过去,这很危险!

4) 对文献的选择有偏爱性,或者不充分

这个也很致命,众所周知,生态环境领域,对于同样的科学问题,单个研究案例的结果往往差异很大,如果认为选取对自己观点有利的论文进行分析,必然造成不够客观,具有偏爱性的结果。这就要求我们从专业领域比较全文的数据库中去公正的检索文献,提取数据,分析结果。对于同一科学问题,要尝试用不同的关键词去检索,如reduction 和decline, 这样就能使文献检索结果更完善充分。

5) 发表偏爱性

   这个是Meta分析中经常提及的概念,即效应显著的论文,往往更容易被期刊发表。Meta分析中有专门的发表偏爱性分析部分,但一般的系统综述中,如何规避这一问题,值得深思。

6) 认为所有的案例可靠性相同,即缺乏对单个案例可靠性的评估

不同研究案例的可靠性,是不同的。Meta分析中,常以单个案例的样本量,变异程度来作为判定其可靠性的依据(作为权重加入在统计模型中),但一般的系统综述中,似乎非常缺乏对单个研究案例所占权重的考虑。

7) 不合适的整合分析方法

这个在系统综述,包括Meta分析中都普遍存在。比如,投票式的统计方法,比如有多少个研究支持了A假说,有多少个研究支持了B假说。这种做法,早已过时,因为没有考虑单个研究的可靠性(见问题6)。文中提到,Not all systematic reviews may use meta-analysis as a synthesis method, but all reviews that are identified as ‘meta-analyses’ must fulfil a number of standard requirements such as calculation of the effect sizes for individual studies, calculation of the combined effects and confidence

intervals and so on。 对于那些自称应用了Meta分析方法的系统综述来说,必须按照Meta分析的严格流程,完成整个数据分析过程。而现实情况是,大量的研究都是只要用了文献中的数据,都说自己是Meta分析,这是非常不严谨的(因为Meta分析自身从文献检索到数据搜集,分析,到结果可靠性验证,都有一套严格流程),其结论可靠性,当然存疑。

8) 缺乏文献检索的多人检索和勘误机制

这个当前在生态环境领域,似乎要求不高。根据我的认知,当前这一领域大多数研究都是不是安排2人甚至更多人,各自去查文献提取数据,然后把各自的数据进行对比、勘误后再纳入系统分析过程的。这一理念无疑是正确、先进、无懈可击的,但其在生态环境领域(实验累如狗,文献多如毛)的实际操作可行性,值得冷眼观察。

当然,作者不是只提问题,也给出了建议和解决办法(下图)。这些办法可行性和有效性,依旧需要观察。

图片3.png

参考文献:

Haddaway, N. R., A. Bethel, L. V. Dicks, J. Koricheva, B. Macura, G. Petrokofsky, A. S. Pullin, S. Savilaakso, and G. B. Stewart. 2020. Eight problems with literature reviews and how to fix them. Nature Ecology & Evolution 4:1582-1589.

图片4.png





https://blog.sciencenet.cn/blog-3442043-1381207.html

上一篇:从Ecology letters上一篇technical comment 看当前meta分析研究中需要注意的几个技术问
下一篇:统计扫盲:回归模型中,解释变量可以是分类变量么?
收藏 IP: 111.197.235.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-2-26 15:20

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部