有学者研究发现，超过50%的心理学研究论文无法重复。发现无法重复需要比较复杂的重新研究过程。如果对已经发表的论文数据进行简单核查，会有什么发现。当然论文数量太大，人工也是非常大的。可以用计算机软件实现这个目标。最近一种统计学检查软件推出，专门能对论文的统计学分析进行检查。我想，这种软件更重要的作用是对手稿中的统计学分析进行检查。

利用这种计算机软件statcheck，只用了2小时就对发表在8个杂志1985年到2013年之间的3万篇论文检查完。检查结果让人赞叹，竟然有18%的论文存在统计学错误。这一研究来自荷兰蒂尔堡大学分析方法研究者Michèle Nuijten，他的研究已经发表在Behavior Research Methods。

利用这种方法发现存在错误的论文有16700篇，错误中50%的论文至少有1次对显著性差异的P值有错误。13%的论文本来没有显著性差异，作者认为有统计学差异。这些结果和过去对P值存在判读误差的疑问相符合，但是手工核查太麻烦。平均一个心理学论文中包含11个P值。这说明statcheck可以瞬间完成的工作，人工可能需要10分钟。利用这个软件对超过25800个P值的检查发现，10%的p值与数据不符合。不过大部分错误不影响统计结论，因为这些p值没有达到小于0.05。

研究还发现，这种错误出现的年度几率一直比较平稳。斯坦福大学荟萃和创新研究中心科学偏见和行为研究者Daniele Fanelli说，这是一个重要发现，说明与多数人的直觉不同，对待科学数据的马虎态度现在没有比过去更多。他认为这个工具可以进行更大规模的分析研究。

虽然有许多软件包可以检查P值，但是Nuijten不知道有其他能自动对文献中的P值进行自动检查的软件。她认为自己小组的这一软件将给学者、评审员和编辑提供极大方便。帮助学者们杜绝论文中发生这种数据分析错误。对如我这样统计分析非常弱智的学者，这真是一个巨大的好消息。我过去一直希望能有一个这样的软件，帮助我对评审的论文进行自动检查。她警告说软件仍然存在不完善的地方，偶尔会发生错误判断。不过Nuijten还要继续改进这个软件。

阿姆斯特丹大学心理学研究人员统计学家Eric-Jan Wagenmakers认为，软件虽然不错，但并不是灵丹妙药。最彻底的办法是完全放弃P值。