moralscience的个人博客分享 http://blog.sciencenet.cn/u/moralscience

博文

真研究结果,该如何呈现? 精选

已有 58953 次阅读 2022-2-18 23:58 |系统分类:科研笔记

在前面介绍的研究中,所用的结果是基于模拟数据或档案数据,并且,数据中两个群体的相似性很大。如果采用真实的研究结果,特别地,这样的研究旨在比较两个极化群体的差异,那么,呈现方式是否影响人们对结果的看法呢?

研究者(Hanel, Maio, & Manstead, 2019)选择两项有影响、有争议的研究,使用它们的结果,考察上述问题。这里介绍基于其中一项研究数据的有关情况。该项研究比较保守派和自由派在5个道德基础上的反应(Graham et al., 2011)。

通过线上招募,研究者一共得到157名被试,平均年龄=33.37SD=11.44),女性占43.87%115名被试有大学学位,40名没有大学学位(2名没有报告教育水平)。所有被试均生活在美国。

研究者用Graham等(2011)报告的4,128名保守派和21,933名自由派在所有5个道德基础上的均值与标准差,制作研究材料——呈现研究结果的3类图。线形图(见图1)、放大y轴刻度的条形图(见图2)、叠加的正态分布图(见图3)。显然,保守派和自由派之间的相似性要小得多:PCR从“伤害”的67d=0.86)到“纯洁”的37d=1.81),自由派在“伤害”上的得分更高,保守派在“纯洁”上的得分更高。

image.png 

1  保守派和自由派在5个道德基础上的反应Hanel, Maio, & Manstead, 2019

注意:实际上,5个道德基础是离散变量,呈现结果时不应使用线形图。

image.png 

2  保守派和自由派在5个道德基础上的反应Hanel, Maio, & Manstead, 2019

注意:这5幅图的y轴刻度都是不同的,虽然测试的量尺是一样的(6级量尺)。

image.png 

3  保守派和自由派在5个道德基础上的反应Hanel, Maio, & Manstead, 2019 

实验时,把被试随机分配到3种条件,每种条件使用3类图中的一类呈现保守派和自由派对道德基础的反应。告诉被试:“你将看到一项研究的结果,这项研究采用个体调查方式,考察保守派和自由派对5个道德领域的重要性评定。接受调查的人来自几个国家,主要是美国,人数超过25,000名。”接着简要介绍道德基础研究,包括研究方法和每个道德基础的定义。呈现Graham等(2011)论文全文的链接。

接着,要求被试在0~100的滑动量尺上回答6个问题:(1)“保守派和自由派的道德基础有多相似?”(2)“你认为保守派和自由派彼此容易相处的程度如何?”(3)“总体而言,这项研究的发现对你来说有意义吗?”(4)“你对这项研究的总体印象是什么?”(5)“你也知道,科学证据的质量各不相同。你认为这项研究的质量如何?”(6)“你认为这项研究的研究者带有偏向性吗?所谓偏向性,是指研究者希望得到特定的发现,从而使结果不太有效。”

最后,要求被试在11点量尺(1表示“非常左倾”,11表示“非常右倾”)上评定自己的政治倾向。

研究者在分析实验结果时,首先把教育水平(高、低)作为一个因素,进行二向分类的方差分析,检验教育水平是否调节图的类型的任何效应。结果发现,交互作用均不显著(p>.30)。接着,检验政治态度是否调节呈现保守派与自由派道德基础的图的效应,采用包括交互作用项的一系列线性回归来检验。结果发现,12个交互作用项(对于6个因变量的条形图vs.线形图,条形图vs.正态分布图),只有一个显著,B=2.67SE=1.35t(147)=1.98p=.049,其余11个交互项均不显著(p>.10)。因此,不再考虑教育水平和政治态度这两个因素。

数据分析显示,如预期的那样,与用放大y轴刻度的条形图呈现结果相比,当结果用叠加正态分布图呈现时,被试明显认为保守派与自由派之间的相似性更大(见图4;与条形图条件下的被试相比,正态分布图条件下的被试认为两个群体的成员能够更容易地彼此相处;当结果用线形图呈现时,对两个群体的相似性知觉、对两个群体彼此容易相处程度的评定,落在另外两种条件之间;看到叠加正态分布图的被试,认为这项研究的质量更高。

此外,与质量相关的另外3个题目,所得结果的模式不一致,研究者未作进一步描述。

image.png 

彼此相似性 相处容易性 结果理解性 对结果的印象 研究质量 偏差程度

4  看过呈现保守派与自由派道德基础的不同类型的图后,被试对6个题目的反应情况(小提琴图)(Hanel, Maio, & Manstead, 2019

总之,由该实验可知,真实研究的结果如何呈现,不仅影响人们对研究比较的两个群体相似性或差异性的认识,而且影响人们对研究质量的评价。显然,当前流行的放大y值刻度的条形图,是非常容易引起误解的呈现方式,叠加正态分布图则有利于让人们对研究结果形成合理的认识。特别地,目前已经出现一些能够更好地反映数据分布情况的图,比如,这里的小提琴图,给人带来耳目一新的感觉,值得学习、借鉴和使用。

参考文献

Graham, J., Nosek, B. A., Haidt, J., Iyer, R., Koleva, S., & Ditto, P. H. (2011). Mapping the moral domain. Journal of Personality and Social Psychology, 101, 366-385.

Hanel, P. H. P., Maio, G. R., & Manstead, A. S. R. (2019). A new way to look at the data: Similarities between groups of people are large and important. Journal of Personality and Social Psychology, 116, 541-562.



https://blog.sciencenet.cn/blog-2619783-1325980.html

上一篇:传统图示法,夸大差异性
下一篇:报告差异性,配套相似性
收藏 IP: 116.1.48.*| 热度|

15 张鹰 杨韩 王平平 侯丹 李世斌 孙颉 罗春元 杨正瓴 郑永军 王安良 张晓良 姚伟 李毅伟 肖慈珣 马鸣

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-25 21:49

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部