|
心理学研究结果,应当既报告差异性,也报告相似性。在具体研究中,人们可以选择不同的结果呈现方式,例如,图、表、文字。就是图,也有不同的模式,比如,正态分布图、条形图、直方图。同样地,就是文字,也可以使用含有不同术语的方式。对于一般读者来说,报告相似性与差异性的不同方式,是否会影响理解的准确性呢?
有研究者(Hanel, Maio, & Manstead, 2019)考察了这个问题。具体地说,他们探索表示相同结果的3种呈现方式,即,叠加的正态分布图、带置信区间的条形图、叠加的直方图,哪种可使读者产生更准确的相似性估计?认为哪种呈现方式是更清晰、更有意义的?
研究者通过付费线上平台招募有效被试291名,平均年龄=33.75岁(SD=11.17),女性占46%。研究材料是3种图,均表示对A和B两个群体各1,500名被试的模拟数据。相应的数据由M=3、SD=0.80的正态分布模拟得出。3种图的样例见图1:由PCR评估的重叠分布图、带有95%置信区间的条形图、表示PCS的直方图。对于每种图,都依据效应量(即d=0、0.20、0.40、0.50、0.60、0.80、1.00、1.50、2.00)制作了9个版本。
图1 描述相同数据的3种模式:两个叠加的正态分布图、带有95%置信区间的条形图、两个叠加的直方图(d=.43, PCR=83)(Hanel, Maio, & Manstead, 2019)
此前博文已经指出,PCS是共同分数百分比(percentage of common score),用来度量相似性,可以解释为两个群体有相同量表反应的百分比。同时,在条形图中,误差条使用置信区间而不是标准误,原因是表示标准误的竖条会使差异看起来更大。
研究者把被试随机分配到一种图的条件进行评定。被试得到的指导语是:“在你看来,图中描述的数据在什么程度上表明A群体与B群体是不同的或相同的?每个群体都由约1,500人组成。”为了让这个变量更具体,把它标为社会性(sociability)。要求被试在一个从0(非常不同)到100(非常相似)的滑动量尺上进行反应(作答)。
接着,对于每个图,要求被试在5点量尺(1表示“非常难以理解”,5表示“非常容易理解”)上,评定自己对这个图的理解程度。
然后,要求被试评定3种陈述中的哪一种,能够最清晰、最有信息地描述科学发现:(1)“男性与女性之间的差异是Cohen’s d=.43,这里,Cohen’s d是两个群体均值的差异除以它们标准差的平均数。”(2)“男性反应与女性反应有83%的重叠。”(3)“男性的反应与女性的反应,有83%都是一样的。”这3种陈述的呈现顺序是随机的。
最后,要求被试回答一些人口统计学变量,包括教育水平、统计训练情况。
研究者先对有大学学位的被试、有统计训练的被试与其他被试进行比较,结果发现,图的类型与教育水平(p>.13)、图的类型与统计训练(p>.18)均无显著的交互作用。因此,下面报告的结果,均不再考虑教育水平和统计训练的因素。
关于呈现模式对相似性知觉(认知)影响的检验结果显示,9个被试间方差分析中的8个达到统计性显著(不显著的是d=2.00的情况),说明呈现模式对两个群体的相似性知觉产生了影响。这种影响呈现一种线性模式:叠加正态分布图带来最准确的知觉,其次是条形图,最后是叠加直方图。
易言之,人们对于表示PCR度量的图比另外两种度量的图,能够更准确地估计相似性。例如,对于呈现中效应(即,d=0.50)的图,正确的重叠大小,用PCR来说,是80(即80%);用叠加正态分布图,相似性的估计均值为78%;用显示均值与置信区间的条形图,相似性的估计均值为65%;用叠加直方图,相似性的估计均值为57%。
因此,如预期的那样,当结果用标准呈现模式(即,均值与置信区间)显示时,人们会低估相似性(低估15个百分点);就是用叠加直方图,人们也会低估相似性(低估23个百分点);而当呈现重叠的正态分布图时,则会减小这种错误的程度(仅低估2个百分点)。
关于理解性评定,叠加正态分布图(M=3.92,中数=4,SD=0.93)被评定得比条形图(M=3.59,中数=4,SD=1.12,p=.03,PCR=87,95%CI[78,98],AE=0,95%CI[0,0],d=0.32)和直方图(M=3.50,SD=1.13,p=.006,PCR=84,95%CI[73,95],AE=0,95%CI[0,0],d=0.40)更好理解。
在考察被试对3种呈现科学发现方式的评定情况时,研究者报告的效应量是R的ez包(Lawrence, 2015)计算的广义ηG2估计量(它在多种研究设计中具有兼容性)。被试内方差分析显示,方式效应是显著的,F(2,510)=306.55,p<.001,ηG2=.55,PCS被评定为是最清晰、最有信息的结果呈现方式(M=1.47,SD=0.59),接着是PCR(M=1.69,SD=0.55),之后是Cohen’s d(M=2.84,SD=0.52)。成对比较表明,对这3种呈现方式的反应,两两之间的差异都是显著的,t(255)>3.45,p<.001。这些结果说明,Cohen’s d的技术框架使得它不太容易理解。
总之,这时介绍的研究表明,在用叠加正态分布图、带有置信区间的条形图、叠加直方图呈现结果时,人们都会低估所比较两个群体的相似性,但低估的程度不同,用叠加正态分布图时的低估程度最小;人们对这3种图的理解情况也是不同的,叠加正态分布图是最容易理解的;同时,当用文字描述时,PCS是最清晰、最有用的,PCR其次,效应量d则由于太专业而显得费解。
参考文献
Hanel, P. H. P., Maio, G. R., & Manstead, A. S. R. (2019). A new way to look at the data: Similarities between groups of people are large and important. Journal of Personality and Social Psychology, 116, 541-562.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-25 16:56
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社