一种高效的CD-CAT在线标定新方法：基于熵的信息增益与EM视角
作者单位：江西师范大学心理学院
会议名称：《第二十三届全国心理学学术会议》
会议日期：2021年
学科分类：0402[教育学-心理学(可授教育学、理学学位）] 04[教育学] 040201[教育学-基础心理学]
关 键 词：认知诊断计算机自适应测验 项目增补 在线标定 Q矩阵 熵的信息增益
摘 要：认知诊断计算机自适应测验(Cognitive Diagnostic Computerized Adaptive Testing, CD-CAT)是认知诊断(Cognitive Diagnostic, CD)与计算机自适应测验(Computerized Adaptive Testing, CAT)相结合的产物,在为被试提供详细诊断信息的同时可提高测验的准确性及效率,是目前的研究热点。CD-CAT使用的前提是已构建好的题库,但题库的建设和维护却是一个极具挑战性的任务。在线标定是题库维护的有效方式之一,截至目前CD-CAT中仅有较少方法能同时标定新题的Q矩阵和项目参数。此外,已有在线标定方法的新题标定效率均较低,有待于进一步提高。因此,在CD-CAT情境下开发提升新题标定精度和标定效率的方法是极为必要的。受Chen等人(2015)提出的SIE (Single-Item Estimation)方法和特征选择方法中信息增益(Information Gain, IG)准则的启发,本研究提出了基于熵的信息增益的在线标定方法(Information Gain of Entropy-based Online Calibration Method,IGEOCM)。IGEOCM以序列方式来标定新题的Q矩阵和项目参数,具体如下:首先,基于被试属性掌握模式和被试在新题上的作答,构建熵的信息增益指标并最大化该指标来标定新题q向量;其次,基于被试属性掌握模式后验分布,被试在新题上的作答及上一步所估计的新题q向量,使用EM算法标定新题项目参数。对于所有新题重复以上两步以获得所有待标定新题的Q矩阵和项目参数。随后,为验证IGEOCM在不同标定样本、属性掌握模式、新题作答个数以及选题策略下的性能,展开了两项Monte Carlo实验研究,并将其与已有SIE、SIE-R-BIC和RMSEA-N方法比较。结果表明:(1)IGEOCM方法在所有条件下均具有较好的标定精度和标定效率,且略优于SIE,SIE-R-BIC和RMSEA-N方法。(2)各方法的项目标定精度随样本量的增加而提升。(3)相对高阶分布和多元正态分布,IGEOCM,SIE,SIE-R-BIC和RMSEA-N方法在均匀分布下性能更佳。(4)被试新题作答个数对各在线标定方法标定精度和标定效率的影响较小。(5)CD-CAT选题策略影响SIE和IGEOCM方法的项目标定精度。在高阶分布和多元正态分布下,SIE方法和IGEOCM在选题策略为MPWKL和GDI时具有更高的Q矩阵标定精度。总体而言,尽管所提IGEOCM方法在标定精度和标定效率方面均颇具竞争力且略优于传统方法,但对CD-CAT中在线标定方法的研究仍需进一步深化和拓展。