moralscience的个人博客分享 http://blog.sciencenet.cn/u/moralscience

博文

高的一致性,其实非所宜 精选

已有 67916 次阅读 2022-3-22 23:57 |系统分类:科研笔记

在心理测量中,测量工具的信度是基础。信度反映的是测得结果的可靠性,包括跨时间的可靠性(称为时间稳定性)与跨题项的可靠性(称为内部一致性)。考察时间稳定性,至少需要两次测试,考察内部一致性,一次测试即可。因此,心理测量的实证研究者都会考察和提供内部一致性的资料,并且,往往希望得到高的内部一致性系数。然而,这可能是不合适的,特别是在缩减量表的时候,由于要删除题项,这个问题就愈加值得关注了。

缩减量表,需要考虑量表的题项属性或特征。题项特征分为内部题项品质、外部题项品质、判断性题项品质3大类(Stanton, Sinar, Balzer, & Smith, 2002)。其中,内部题项品质是由量表本身决定的题项属性,亦即自我参照的题项特征。这类特征的指数在编制量表和缩减量表时容易使用,因为只要给定包含题项水平的数据集(data set),不需要量表及其成分题项之外的任何内容,就可评估它们。

传统上,内部题项品质主要包括数据分布特征(例如,均值、方差、偏度、峰度)、题项与量表总分的相关、因素分析的载荷。项目反应理论(Item Response Theory, IRT)是经典测验理论(Classical Test Theory, CTT)的一种替代理论,用若干参数描述题项的属性,比如,用参数a描述题项的区分度,用参数b描述题项的难度——对于非能力测量,参数b表示阈限(threshold)。获得了被试的题项反应和总量表分数,就可以在项目反应理论的框架里评估题项。

从理论上讲,任何内部题项品质,均可作为缩减量表的基础。但是,有关文献显示,在缩减量表时,选择题项的最常用方法是某种形式的内部一致性的最大化(Stanton, Sinar, Balzer, & Smith, 2002)。内部一致性表示构成一个量表的题项是彼此相关的总体程度。以Cronbach α系数的形式最大化内部一致性,是量表缩减的常用策略(Kopalle & Lehmann, 1997)。

缩减量表时,改动的题项与总分的相关系数能够提供内部一致性的诊断信息,从而,在量表缩减工作中,题项与总分的相关系数就会被作为简式量表版本保留题项的依据(例如,Arthur & Day, 1994)。由于用软件统计可以方便地得到题项与总分的相关系数,那些希望缩减量表的研究者,通常会输出这些数据,却没有其他实证信息作为量表缩减决策的基础。基于题项与总分的相关来选择题项存在局限性,然而,在许多情况下,研究者还是使用简单的题项分析方法,可能的原因是,他们缺乏其他方法。

因素分析用于量表缩减时,也是能够提高内部一致性的技术。因素分析提供的载荷显示了维度与单个题项之间的关系强度。通过提取一组特定题项之下的维度或因素,研究者可以删除那些在感兴趣因素上载荷较小的题项。因此,研究者常常使用载荷来缩减量表,例如,删除载荷<.30.40的题项(Cacioppo, Petty, & Kao, 1984)。

最大化内部一致性的量表缩减技术很普遍,但是,这样的作法存在明显的缺陷。Boyle1991)以心理测量学和量表编制的大量文献为基础,讨论了相应的缺陷。他的基本观点是,通过选择题项来最大化内部一致性,将会导致题项高度冗余,内容过于狭窄,效度可能很低。显然,很高的内部一致性通常表明的是,量表没有从所测结构领域的各个部分充分地获得样本内容。

实际上,为了得到高的α系数,量表编制者只需写出一组彼此转述或者相互反义的题项即可。同样地,研究者可以在缩减量表时使用类似的方法,获得同等的结果,造成题项高度冗余,只保留那些在内容上高度相似的题项,而排除了其他题项。

总之,只是集中于最大化内部一致性的量表缩减策略,其潜在的负性结果包括因素结构问题、对结构的测量狭窄、效度降低、不适用于其他文化(Stanton, Sinar, Balzer, & Smith, 2002)。一项蒙特卡罗研究发现,为了提高Cronbach α系数而从量表中删除题项的程序,可能导致高估量表的真实α系数,也就是高估量表的信度(Kopalle & Lehmann, 1997)。实际上,如果研究者要确保广泛覆盖所测的特定结构,尤其是在动机、人格、心境等非能力领域,那么,中到低的题项同质性其实是首选(Boyle, 1991)。

相比之下,项目反应理论提供了不集中于最大化内部一致性的量表缩减策略。研究者可以根据a参数,保留那些区分度高(即,a值中到大)的题项,同时,根据b参数,使保留的题项包括不同程度的阈限,从而,能够充分覆盖所测个体中预期的特质范围(Stanton, Sinar, Balzer, & Smith, 2002)。

参考文献

Arthur, W., & Day, D. V. (1994). Development of a short form for the Raven Advanced Progressive Matrices Test. Educational and Psychological Measurement, 54, 394-403.

Boyle, G. J. (1991). Does item homogeneity indicate internal consistency or item redundancy in psychometric scales? Perosnality and Individual Differences, 12, 291-294.

Cacioppo, J. T., Petty, R. E., & Kao, C. F. (1984). The efficient assessment of need for cognition. Journal of Personality Assessment, 48, 306-307.

Kopalle, P. K., & Lehmann, D. R. (1997). Alpha inflation? The impact of eliminating scale items on Cronbachs alpha. Orgnaizational Behavior and Human Decision Processes, 70, 189-197.

Stanton, J. M., Sinar, E. F., Balzer, W. K., & Smith, P. C. (2002). Issues and strategies for reducing the length of self-report scales. Personnel Psychology, 55, 167-194.



https://blog.sciencenet.cn/blog-2619783-1330622.html

上一篇:测试结构多,量表得简短
下一篇:外部与判断,均应细思量
收藏 IP: 220.173.126.*| 热度|

20 宋玉 侯丹 李世斌 范振英 杨韩 张晓良 王平平 刘秀梅 晏成和 李学宽 孙颉 张俊鹏 黄永义 姚伟 汪运山 杨正瓴 王安良 罗春元 李毅伟 马鸣

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-25 01:37

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部