综述，作为一种重要的对当前某一领域研究结果的总结性研究，其方法本身，也越来越专业。正所谓江湖如潮人如水，现在，一般描述性的综述似乎已很难发表。取而代之的则是越来定量化的综述，我们可以称之为系统综述（包括meta分析）。虽然系统综述都声称自己是按照一定的流程完成的，这种方法本身也存在各种各样的问题，忽视这些问题的存在，同样也会导致不可靠的结果。2020年Nature Ecology and Evolution杂志发表题为“Eight problems with literature reviews and how to fix them”的论文，指出了当前生态环境领域影响系统综述可靠性的八大共性问题(Haddaway et al. 2020)。

系统综述的一般步骤框架

这里本人就这些问题，做出简要介绍和评论。

1） 缺乏足够的利益相关方的参与

这个主要针对具有强烈的经济、社会或行业意义的综述，这些综述往往又会对行业发展、政策制定起到一定知道价值。比如综述油料作物大面积种植的影响时，如果仅关注这种种植对生物多样性的影响，而忽视了其在削减贫困，经济效益等方面的价值，势必会受到相关利益相关方（如油料企业，政府，种植园从业人员）等人的不满。对于从事基础理论研究的科研人员来说，这一点，似乎问题不大。

2） 文章内容跑偏，与其声称的主题不符

这里列举了一个例子，一项研究声称自己的目的是探讨昆虫数量下降的驱动因素是什么，但内容却是针对所有种类的种群变化的分析，而不是专门针对那些数量呈下降趋势的物种的分析。这就是典型的文不对题，事实上，具有这些问题的综述，在生态环境领域似乎并不少见。时常能看到一些文献，题目写的如痴如醉，一看内容，驴唇不对马嘴！

3） 综述的文献搜集，数据分析，结果呈现不透明，不可重复

这个似乎是当前系统综述中存在的最大问题，尤其对于生态环境这类研究结果变异比较大的学科，更是如此。即使针对同一主题的研究（如BEF关系），结论相反的案例也常有看到。所以这一过程中的透明，可重复非常重要。现在质量较高的一些学术期刊，已经要求综述论文要有明确的PRISMA流程表，同时需要把采用的文献列表，数据和数据分析代码都发到永久数据库里公开，这样才可以接受大家的检验，有利于研究的深化和对矛盾来源进行分析。比如NEE本身，几乎每篇论文都有重复这篇论文中结果的数据和数据分析代码，这个值得大大的点赞！最近也看到有研究，因为论文发表之后，不愿意公开相关数据导致论文又被撤稿的案例，如无特殊原因，这值得引以为戒，声称要公开数据，但最后不公开，想混过去，这很危险！

4） 对文献的选择有偏爱性，或者不充分

这个也很致命，众所周知，生态环境领域，对于同样的科学问题，单个研究案例的结果往往差异很大，如果认为选取对自己观点有利的论文进行分析，必然造成不够客观，具有偏爱性的结果。这就要求我们从专业领域比较全文的数据库中去公正的检索文献，提取数据，分析结果。对于同一科学问题，要尝试用不同的关键词去检索，如reduction 和decline, 这样就能使文献检索结果更完善充分。

5） 发表偏爱性

   这个是Meta分析中经常提及的概念，即效应显著的论文，往往更容易被期刊发表。Meta分析中有专门的发表偏爱性分析部分，但一般的系统综述中，如何规避这一问题，值得深思。

6） 认为所有的案例可靠性相同，即缺乏对单个案例可靠性的评估

不同研究案例的可靠性，是不同的。Meta分析中，常以单个案例的样本量，变异程度来作为判定其可靠性的依据（作为权重加入在统计模型中），但一般的系统综述中，似乎非常缺乏对单个研究案例所占权重的考虑。

7） 不合适的整合分析方法

这个在系统综述，包括Meta分析中都普遍存在。比如，投票式的统计方法，比如有多少个研究支持了A假说，有多少个研究支持了B假说。这种做法，早已过时，因为没有考虑单个研究的可靠性（见问题6）。文中提到，Not all systematic reviews may use meta-analysis as a synthesis method, but all reviews that are identified as ‘meta-analyses’ must fulfil a number of standard requirements such as calculation of the effect sizes for individual studies, calculation of the combined effects and confidence

intervals and so on。 对于那些自称应用了Meta分析方法的系统综述来说，必须按照Meta分析的严格流程，完成整个数据分析过程。而现实情况是，大量的研究都是只要用了文献中的数据，都说自己是Meta分析，这是非常不严谨的（因为Meta分析自身从文献检索到数据搜集，分析，到结果可靠性验证，都有一套严格流程），其结论可靠性，当然存疑。

8） 缺乏文献检索的多人检索和勘误机制

这个当前在生态环境领域，似乎要求不高。根据我的认知，当前这一领域大多数研究都是不是安排2人甚至更多人，各自去查文献提取数据，然后把各自的数据进行对比、勘误后再纳入系统分析过程的。这一理念无疑是正确、先进、无懈可击的，但其在生态环境领域（实验累如狗，文献多如毛）的实际操作可行性，值得冷眼观察。

当然，作者不是只提问题，也给出了建议和解决办法（下图）。这些办法可行性和有效性，依旧需要观察。

参考文献：

Haddaway, N. R., A. Bethel, L. V. Dicks, J. Koricheva, B. Macura, G. Petrokofsky, A. S. Pullin, S. Savilaakso, and G. B. Stewart. 2020. Eight problems with literature reviews and how to fix them. Nature Ecology & Evolution 4:1582-1589.