论文部分内容阅读
随着互联网技术的发展,近年来将教育与“互联网+”技术结合的研究与产品愈发层出不穷(张华华,汪文义,2016)。认知诊断计算机自适应测验(Cognitive Diagnosis Computerized Adaptive Testing,CD-CAT)兼具认知诊断和计算机自适应测验的优势,能够高效且精确地对学生的知识状态进行估计,且能提供比普通的计算机自适应测验更加详细的诊断信息,而非一个笼统的分数或能力值,让教师能够实现有针对性地了解学生具体的学习效率和学习效果,并在此基础上量体裁衣地为学生定制个性化的补偿教学方案。然而,现有的CD-CAT研究大都基于参数的选题策略和认知诊断模型。与非参数方法相比,参数方法有较多的假设条件,计算复杂,且准确性对样本容量的依赖性较高,因此,若要在实践应用中使用参数方法进行软件开发或系统开发,实现过程较为困难复杂,且其在实践中对知识状态进行判定估计的准确率和效率无法保证。因此,在实际的系统开发中,使用非参数方法较为合适。而且,已有的CD-CAT研究大都集中于0-1评分的选题策略和判别方法的开发,但是,在实际的测验中,多级评分的结构化反应题(Constructed-Response item,CR题)亦十分重要。在非参数方法中,曼哈顿距离判别方法(Manhattan Distance Discrimination,MDD)尤为简单,且可适用于多级评分的项目。MDD方法限制较少,前提假设易于满足、计算过程简便、计算耗时较短、其准确性基本不依赖于被试的样本容量且不需要对参数进行反复的迭代和估计,在多级评分和小样本的测验中十分适用。因此,本研究在MDD方法的基础上开发了在非参数认知诊断计算机自适应测验(Nonparameter Cognitive Diagnostic Computerized Adaptive Testing,npCD-CAT)中可以使用的几种判别方法、选题策略、和终止规则,并在模拟研究中将几种判别方法、选题策略、和终止规则进行比较,选择其中较优越的方法与参数的认知诊断计算机自适应测验进行比较,考察npCD-CAT的准确性、测验效率和题库安全性。由于现有的研究缺少CD-CAT的实践应用,因此,本研究建设了可应用于npCD-CAT的数与代数领域的多级评分认知诊断题库,并开发了npCD-CAT系统,通过实证研究验证其效度。研究结果如下:(1)非参数判别方法中,R_MDD方法和I_MDD方法的判准率、测验效率和题库安全性都较高,两者之间差异不大,且高于P_MDD方法;非参数选题策略中,Q_NPIS选题策略的判准率略高于R_NPIS选题策略,但题库安全性低于Q_NPIS选题策略,在测验效率上,两者之间差异不大;非参数终止规则中,D3终止规则的判准率略高于D1终止规则,但其测验效率和题库安全性都低于DI终止规则。(2)大部分条件下,I_MDD判别方法的判准率都高于GP-DINA模型,但在测验长度较长或初始项目数较多时,GP-DINA模型的判准率高于I_MDD方法;I_MDD方法的测验效率和题库安全性均高于GP-DINA模型;Q_NPIS选题策略的判准率、测验效率和题库安全性均高于ps-HKL选题策略。整体而言,npCD-CAT系统的判准率、测验效率和题库安全性均高于psCD-CAT系统。(3)数与代数领域的认知诊断题库项目难度分布范围较广,整体难度较低;项目区分度较高。题库属性难度较低,整体属性较简单。题库各题册的信度较高,达到0.8以上。除属性A6外,各题册之间同一属性的难度差异较小,因此题库效度较好,可应用到npCD-CAT系统中。(4)npCD-CAT系统界面简洁,功能全面,能实现对学生的知识状态的准确而高效的诊断,与学生的实际情况有较高的一致性。