您好! 欢迎来到中南人才测评中心(第三方命题专家)
帮助优秀组织提高人事决策准确性

全国服务热线:15364068073

讯中心

当前位置:资讯中心->人事考试理论与实践->考试测量学基础知识:概化理论及认知诊断理论

考试测量学基础知识:概化理论及认知诊断理论

2021-10-11

考试是一种常见的测量形式,其作为一门科学,拥有深厚的理论基础,了解理论基础有利于考试工作的开展,研究院作为学术性机构,致力于加强考试科学知识的普及,本公众号将会陆续推送考试科普知识,供各考试工作者参考学习。

本期文章转自《中国考试》,共上下两篇,按测量学的发展时间,分别介绍了四个测量学理论,本篇将介绍概化理论和认知诊断理论。


概化理论(GT)

经典测量理论一直占据测量理论的统治地位,却存在误差分离过于笼统、“严格平行测验”很难在实际情境中实现等问题。针对经典测量理论存在的问题,20世纪70年代初,克伦巴赫(Cronbach)等人提出了概化理论(Generalizability Theory,GT)。概化理论将经典测量理论的内容和运用范围进行了扩展和延伸。

图片


克伦巴赫(Cronbach)

在概化理论中,测量情境关系由测量目标和测量侧面构成。测量目标,即测验中所要描述的特性,不仅仅是受测者的某种潜在特质,也可以是测验题目或评分者的某种特性。测量侧面则是影响和制约测量目标的各种因素和条件,包括测量工具、测量环境、测量时间等。测量侧面又可分为随机侧面和固定侧面。在随机侧面中,侧面各水平是从所有可能的水平中随机选取;固定侧面的各水平则是固定不变的。

在概化理论模型中,至少需要包含一个随机侧面才能进行推广或概化。概化理论将经典测量理论的信度转化为概化系数Eρ²或可靠性指标φ系数,概化系数关注的是测量的相对误差,可靠性指数则关注的是绝对误差。

概化理论研究过程由两部分组成,即G研究和D研究。

G研究是指在观测全域上,根据测量设计对测量目标、所有侧面以及它们之间的交互作用的方差协方差分量进行估计。在这个研究中,需要研究者明确测量对象和测量目标、测量侧面和观测全域以及它们的关系,还包括对测量设计和测量模式的确定。

D研究则是在G研究基础上,通过改变测量侧面结构、测验模型等来考察概化系数和可靠性指数的变化,从而为有效控制误差、提高测验精度提供参考。其中,需要根据测量目的确定概化全域,也就是确定测验结果推广的侧面,以及各侧面推广的范围。根据确定的概化全域,在各侧面条件样本水平上重新估计G研究中各因素的效应和交互作用的方差分量,获得特定概化全域上整个测验的概化系数和可靠性指数。通过多次反复,获得不同概化全域上的系数指标,比较这些系数的估计精度,从而确定最佳的测量设计方案,将G研究中的结果概化到新的全域上。

由于在实际的测量中,常会涉及一个测量目标同时具有多个全域分数的问题,比如一个测验包括多个分测验,这些分测验的分数就可理解为同一测量目标所具有的多个全域分数。于是在单变量概化理论的基础上发展出多元概化理论。多元概化理论在继承单变量概化理论的基础上,提供了测验目标、测量侧面等更为详细的方差协方差分量信息,具有更为广泛的使用范围。


认知诊断理论

按照Mislevy R.J在1993年的观点,心理与教育测量理论发展至今,大约经历了两个阶段:第一阶段为标准测验理论阶段,包括经典测量理论(CTT)、项目反应理论(IRT)和概化理论(GT);第二阶段是以认知诊断(Cognitive Diagnosis)为核心内容的新一代测验理论。

图片


个体所得测验总分相同或者在传统测验上的行为表现一致,并不代表他们一定有相同的心理加工过程。事实上,他们可能有不同的知识结构和解决问题的策略。一个单一而笼统的总分往往会掩盖这些差别。新一代测验理论——认知诊断则克服了这一局限性,它很好地将认知心理学的理论成果与现代的统计方法结合起来。

认知心理学的分析不仅可以明确被试正确作答所需的技能、策略、知识基础与加工过程,还可以明确项目特征和刺激条件与作答反应的关系,从而有力地提高测验编制过程对难度等性能的预控性。而要最终实现对被试个体差异的分析和解释,还必须强调测验设计,即根据测量对象的实质性心理模型来选择、编制项目和测验,达到详细描述被试间差异的目的。认知诊断理论把认知过程与测量手段结合起来,不仅能对考生的整体水平作出评估,同时还可以将考生的认知结构模式化,利用合适的测量模型对不同的认知结构模式进行诊断,从而定量地考查考生的认知结构和个体差异,为个体下一步的矫正、培训提供方向和指导

经典测量理论与项目反应理论的主要目的是得出被试潜在特质的位置,主要强调被试的行为反应,而不是学习过程。认知诊断理论是建立在认知心理学基础之上的测量,可以揭示项目反应背后的机制,也被称为是基于认知心理学的项目反应理论。


本文转载自《中国考试》


Copyright 中南人才测评中心(第三方命题专家) .ALL Rights Reserved.

湖南省长沙市雨花区金海路128号长沙国际研创中心A2栋1001   网站备案:赣ICP备10200863号-6TEL:15364068073