|
缩减已有量表的题项,需要理论基础和路线导引。研究者认为可以从内部、外部、判断性3个方面评估题项的质量,作为保留量表的基础,并且,据此提出并生成一些指数(Stanton, Sinar, Balzer, & Smith, 2002)。这些指数真的如研究者构思的那样吗?特别地,评估题项的3类品质之间存在什么关系?研究者考察了这些问题,所得结果对缩减量表甚至编制量表,具有启示意义。
研究者(Stanton, Sinar, Balzer, & Smith, 2002)创制了一个新的数据集,包含72×15个数据。这里,72为“工作描述指数”的题项个数,15为计算所得的题项品质指数的个数。也就是说,研究者把15个题项品质指数作为变量,把72个题项作为个案(case)。在“工作描述指数”每个层面内,对分数进行标准化。这样做的理由是,某些度量指标的非标准化形式,在不同层面中是不可比的。例如,计算VIF时,参照的是一个层面的其他题项,在不同层面比较这个统计量的非标准化形式,是没有意义的。
研究者对72×15的数据矩阵进行主成分分析,采用斜交旋转,查看各成分的相关情况。结果发现,4个成分的特征值>1.00。基于Lautenschlager(1989)标准,第四个成分的特征值为1.30,也可以保留下来。进行直接斜交旋转时,在-.25~.25的范围内变化Δ。通俗地说,Δ设定成分之间的相关程度,Δ=0时,允许成分之间有最高的相关。
如预期的那样,Δ的改变会影响模式矩阵(pattern matrix)和成分相关矩阵(component correlation matrix)中的数值大小,不过,这些差异对解释没有实质影响。表1为Δ=0时的结果。为了突出每个度量指标在主要成分上的载荷,表中略去了<.40的载荷。
研究者把它们分别命名为分布性成分、内部成分、外部成分、判断性成分。分布性成分与内部成分相关,Δ=0时,r=.34;Δ=.25时,r=.26。内部成分与判断性成分相关,Δ=0时,r=.30;Δ=.25时,r=.23。这些成分之间的其余4个相关在所有Δ值时,均接近于0。
由表1可知:
首先,每个描述统计量、项目反应理论的参数b,在分布性成分上有大的载荷。方差、偏度、参数b的载荷为负值,这是预料之内的结果:更大的题项均值意味着更大的负偏态、更小的变异性、更低的阈限。“是”反应的百分比落在这个成分而非判断性成分,是意外的。研究者的解释是,它与均值的相关非常高。
其次,项目反应理论的参数a、VIF、主成分分析的载荷、题项与总分的相关,在内部成分上有大的载荷。这支持研究者的观点,即基于这些度量指标的任何量表缩减策略,均可达到同样的目的:反映题项的内部一致性与冗余性。
再次,总体工作量表、辞职意图量表的效度相关系数、“?”反应的百分比,在外部成分上有大的载荷。最后一个指数落在这个成分而非判断性成分,也是意外。研究者的解释是,在这个成分上,峰度有绝对值次大的负载荷、方差有较大的正载荷,而计分时,“?”位于“否”与“是”之间,这使题项的分布更接近正态,并增大方差,因此,使之与外部效标有更强的相关。
最后,使用者和专家的题项质量评定、“?”反应的百分比,在判断性成分上有大的载荷。如预期的那样,“?”反应百分比的载荷为负,说明被试更多地使用“?”的题项可能缺乏表面效度,对于使用者和专家来说,是没有多大意义的。
显然,对题项度量指标进行主成分分析,得到的载荷为评估题项品质提供了新的信息。得到的成分基本上验证了关于题项品质特征的三分法:参照其他题项的内部品质、参照外部效标的外部品质、参照人类判断的判断性品质。同时,还得到一个预料之外的成分,即分布性成分,它反映题项水平描述性统计量的共性。
研究者验证了评估一个题项对内部一致性贡献的多种技术,能够会聚在一起,并且,项目反应理论的参数a反映的信息,同经典测验理论的题项与总分相关及有关指数反映的信息,是类似的。
尤其重要的是,斜交旋转的结果显示,内部题项品质与判断性题项品质存在低的正相关,而外部题项品质与其他类型的题项品质没有关系。这意味着,一个题项可能有好的心理测量学特征,例如,高的题项与总分相关,表面效度不错,然而,它依然对外部效标的效度关系鲜有贡献。换句话说,仅有内部、判断性题项品质,而缺乏外部题项品质,是有潜在问题的。
其实,这里主成分分析揭示了更多的问题。例如,生成了一个额外的分布性成分,并且是第一主成分,不仅包括研究者原来设想为内部品质9个指数的5个,而且包括原来设想为判断性品质的1个。为什么会出现此种情况?这是值得深入思考的重要问题。
参考文献
Lautenschlager, G. J. (1989). A comparison of alternatives to conducting Monte Carlo analyses for determining parallel analysis criteria. Multivariate Behavioral Research, 24, 365-395.
Stanton, J. M., Sinar, E. F., Balzer, W. K., & Smith, P. C. (2002). Issues and strategies for reducing the length of self-report scales. Personnel Psychology, 55, 167-194.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-25 07:44
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社