CD-CAT在线标定设计的研究

作     者：张雪琴 

作者单位：四川师范大学 

学位级别：硕士

导师姓名：毛秀珍

授予年度：2021年

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：项目增补 认知诊断计算机化自适应测验 在线标定 在线标定设计 

摘      要：计算机题库建设不是一劳永逸,而是需要不断地维护和更新。对题库进行项目增补是维护题库质量、保证测验安全性的重要途径。标定新题参数是认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)项目增补过程中的重难点。与传统计算机化自适应测验(Computerized Adaptive Testing,CAT)一样,在线标定技术同样适用于CD-CAT新题参数标定。在线标定设计研究新题在测验中的分配方式,是在线标定过程的重要环节。如何匹配被试潜在特质与新题的项目特征,并合理分配新题以优化项目参数标定精度,成为在线标定设计的核心问题。长期以来,研究者们针对这一核心问题开展深入研究,提出大量的CAT在线标定设计,而CD-CAT在线标定设计的研究相对薄弱。已有研究采用随机设计分配新题,没有考虑被试与项目的适配性,也未能体现优化项目参数标定精度的思想。研究CD-CAT自适应在线标定设计不仅可以高效、准确地标定新题参数,解决随机设计中存在的不足,对CD-CAT题库建设与维护也具有重要价值。鉴于此,本文分别基于两种视角提出适用于CD-CAT情景的自适应在线标定设计,包含两个子研究:研究一:在“依题选人视角下提出两种自适应在线标定设计。首先,拓展并改进传统的D优化设计,得到推广的D优化设计(记为PGDO)。其次,借鉴传统KL信息的思路,将其转化为被试区分当前题目参数估计值与任意范围参数的KL信息,得到后验KL(记为PKL)。最后,通过模拟实验比较PGDO、PKL与随机设计在不同样本大小、测验长度以及样本比例下参数估计结果,并探究各因素对在线标定设计的影响。研究结果表明:第一,两阶段设计较随机设计均能提高新题参数估计准确率。在部分实验条件下,PGDO与PKL表现稍优于随机设计。第二,测验越长、样本量越多,各在线标定设计的新题参数估计准确率越高,反之亦然。在小样本下,测验长度对各在线标定设计的影响较为显著,并且PGDO与PKL较随机设计能明显提高新题参数估计精度,其中,失误参数的估计精度不及猜测参数。第三,两阶段样本比例设计对各在线标定设计影响不显著。对PGDO与PKL而言,尚且不存在一致性最优样本比例设计,不过PGDO与PKL指标在两阶段样本比例设计较大时新题参数标定精度较高。研究二:在“依人选题视角下提出三种自适应在线标定设计。首先,基于项目参数估计误差的思路,分别提出改进的DC设计,记为M1GDC与M2GDC。其次,基于传统KL信息的思路,提出广义的KL信息(GKL)。最后,通过模拟实验比较GKL、M1GDC、M2GDC与随机设计在不同样本大小、测验长度以及样本比例下新题参数估计结果,并探究各因素对在线标定设计的影响。研究结果表明:第一,与随机设计相比,两阶段设计均能提高新题参数估计准确率。在大部分实验条件下,GKL表现最好,M1GDC方法次之,接下来是M2GDC与随机设计。第二,各在线标定设计受测验长度与样本大小的影响一致,测验越长,样本大小越多,各在线标定设计的新题参数估计准确率越高。新提出三种在线标定设计在短测验、小样本下明显优于随机设计。第三,两阶段的样本比例设计对各在线标定设计影响较为显著。对于GKL、M1GDC与M2GDC而言,尚且不存在一致最优的样本比例设计,不过在样本比例设计较小时,GKL、M1GDC与M2GDC较随机设计能够明显提高新题参数估计准确率。总体而言,本文提出的CD-CAT在线标定设计均得到较为理想的结果。在今后的研究中还应增强CD-CAT在一般诊断模型、属性多级、评分多级以及更加复杂的测验条件下的新题在线标定设计的开发,深入开展CD-CAT在线标定实证研究。