moralscience的个人博客分享 http://blog.sciencenet.cn/u/moralscience

博文

描述相似性,有些新指标 精选

已有 50422 次阅读 2022-2-14 23:58 |系统分类:科研笔记

我在以前的博文中提到,自己学习一本英文版心理统计教科书时,发现统计学知识的起点是频次分布图。现在阅读文献,再次看到了频次分布图的大用——由它,可以直观地认识到不同群体之间的相似性远大于、远多于差异性。对心理学研究来说,人们已经被均值与标准差、条形图、线形图占据头脑,从而,很少去考虑数据的其他性质及指标。实际上,描述数据集中趋势的常见统计量还有中数和众数,全面反映数据性质的图,是频次分布图。

传统上,心理学研究的重点是描述群体之间的差异性。例如,心理学期刊论文中的研究结果,90%都是描述统计显著的差异性(Fanelli, 2010)。这些研究所使用的推断统计量和效应量,往往只适合于度量平均差异。特别地,当两个群体的相似性大于差异性时,也会出现群体之间存在大效应量的差异。只要基于一个具体的变量,例如,心理学研究中的许多人口统计学变量,把被试进行分类,那么,就可能出现这种情况。

心理学研究者已经呼吁对相似性进行更多的考察和讨论,并且提出了一些度量指标,旨在避免因为过于依赖零假设显著性检验和贝叶斯统计而存在的问题(Hanel, Maio, & Manstead, 2019)。这些内容,关注的研究者相对较少,值得学习和宣传。

毫无疑问,独立样本t检验是心理学中使用最广的检验之一。不过,它只是考察两个均值来自同一总体的概率,依赖于均值的假设分布,忽视数据的实际分布。换言之,一个t检验只能帮助确定两个均值是否可能来自同一总体,它不能对两个实际分布重叠的情况进行推论。与t检验配套的常用效应量指标是d,它可以转换成重叠系数(overlap coefficient, OVL),由此,通过估计两个正态分布之间的重叠百分比,就可以对所有数据的分布得出结论,而不仅仅是对均值得出结论(Inman & Bradley, 1989)。

易言之,OVL能够帮助估计两个群体的相似性。例如,对于大效应量,即d=.80时,OVL=69%,表示两个群体之间有69%的重叠;对于中效应量,即d=.50OVL=80%表示两个群体之间有80%的重叠;对于小效应量,即d=.20OVL=92%表示两个群体之间有92%的重叠(见图1~3)。由此可知,对于调查类的心理学研究,纵然得到差异显著的结果,也一定要看看对应的数据分布,研究者会有全新的体会与感悟的——相似性是主要的,差异性是次要的,虽然,有时的差异性可能是关键的。

image.png 

1  大效应量的分布重叠Hanel, Maio, & Manstead, 2019

image.png 

2  效应量的分布重叠Hanel, Maio, & Manstead, 2019

image.png 

3  效应量的分布重叠Hanel, Maio, & Manstead, 2019

研究者提出了共同分数百分比(percentage of common score, PCS),用来度量相似性。PCS可以解释为两个群体有相同量表反应的百分比,同时,还控制了不同样本量的影响,并且对量表长度反应进行了标准化(Hanel, Maio, & Manstead, 2019)。因为OVLPCS几乎是完全相关的(r>.96),研究者把OVL乘以100,并把新的指标称为共同反应百分比(percentage of common response, PCR)。用它表示两个群体的分布重叠情况,显得简单易懂。

在实际研究中,即使均值的差异很小,如果方差也小,就会计算得到大效应量,从而低估两个群体分布的相似性。由于这个原因,解释PCR需要一个度量两个总体之间绝对差异的指标作为补充。

研究者指出,这种集中趋势的相似性可由绝对效应(absolute effect, AE)来表示(Hanel, Maio, & Manstead, 2019)。AE可以简单定义为,由最大可能差异的百分比表达的中数差异:100×(A组的中数-B组的中数)/(量尺的最大值-量尺的最小值)。例如,假设中数差异是0.50,量尺范围是1~6,那么,AE就是100×0.50/(6-1)=10。与依赖分布的度量指标,比如dPCR相比,AE独立于分布类型和方差,同时还考虑了量尺全距。也就是说,d是相对于SD的均值差异,绝对效应是相对于量表全距的中数差异。

PCRAE在概念上是独立的,可以把它们结合起来使用,从而,研究者能够描述两个群体是更相似还是更不同:如果PCR>50,并且AE<50,那么,两个群体之间的相似性大于差异性;如果PCR<50,并且AE>50,那么,两个群体之间的差异性大于相似性。在确定群体之间是更相似还是更不同时,把效应量的估计量考虑进来是重要的,因为均值和中数在量尺的一边时,如果SD相当小,就会出现大的PCR。因此,当分布之间显示小于50%的重叠,并且,两个群体的均值落在量尺的不同边时,将是非常明显的群体差异情况。

当然,也可能出现PCR<50,并且AE<50。在这种情况下,不能确定两个群体是更为不同还是更为相同。在实证研究中,PCRAE出现这种情况的可能性很小。实际上,只要检验不止取决于一个统计量,就可能出现这种麻烦。例如,在做结构方程模型检验时,可能出现一组拟合指标显示拟合良好(比如,CFI/TLI>.90),而另一组拟合指标显示拟合不好(比如,RMSEA>.10)的情况。

总之,现在的心理学研究中,已经有一些度量指标,用来表示群体之间的相似性,也有一些度量指标可以配合使用,共同描述群体之间在特定的考察属性方面的相似性与差异性,从而,更合理、更全面地反映有关问题

参考文献

Fanelli, D. (2010). Positive results increase down the Hierarchy of the Sciences. PLoS ONE, 5, e10068.

Hanel, P. H. P., Maio, G. R., & Manstead, A. S. R. (2019). A new way to look at the data: Similarities between groups of people are large and important. Journal of Personality and Social Psychology, 116, 541-562.

Inman, H. F., & Bradley, E. L., Jr. (1989). The overlapping coefficient as a measure of agreement between probability distributions and point estimation of the overlap of two normal densities. Communications in Statistics Theory and Methods, 18, 3851-3874.



https://blog.sciencenet.cn/blog-2619783-1325310.html

上一篇:人的相似性,远胜差异性
下一篇:不讲相似性,极易误导人
收藏 IP: 113.13.45.*| 热度|

20 侯丹 王平平 李世斌 张晓良 钟定胜 鲍海飞 宁利中 汪运山 黄河宁 李毅伟 张学文 孙颉 程少堂 杨正瓴 张俊鹏 尤明庆 张鹰 任国鹏 王崇臣 马鸣

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-25 12:29

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部