论文部分内容阅读
认知诊断(Cognitive Diagnosis)、项目自动生成(Automated Item Generation)、计算机化自适应测验(Computerized Adaptive Test,CAT)是现代心理测量的重要发展领域,三者的结合更是心理测量领域亟待开展的重要课题。认知诊断研究有助人们更好地了解人类内部心理活动规律及加工机制,实现对个体认知发展实况(含优点与缺陷)进行诊断评估,以促进个体健康发展。而要实现对个体的认知诊断需开发相应的测量工具——认知诊断测验,认知诊断测验的好坏直接决定着认知诊断的效果及其准确性。传统测验形式大都采用纸笔测验,而且被试均是做相同试题(“千人一卷”),不能做到“因人施测”、“千人千卷”的自适应,更不能有效评估、控制每个被试的测量误差(而只有对所有被试一个笼统的测量误差),且测试的效率相对要低。计算化自适应测验的出现能有效解决这一问题,它采用因人施测策略,能比传统纸笔测验更为高效、准确、可靠地评定被试水平,国际上许多大型测验(如TOEFL、GRE等)正在大力推行。因而将计算机化自适应测验技术融入认知诊断(或编制计算机化认知诊断自适应测验,简记为CD_CAT)具有重要意义:一方面可以由计算机自动实现因人诊断,另一方面可以有效地控制每个被试的测量误差,从而保证认知诊断的准确性及高效性。但计算机化自适应测验的实现需以大型题库(item bank)为基础。传统题库的试题大都是由人工命制,且还需进行大量测试及等值工作,因此需花费大量人力、物力及财力,同时命题的周期也较长。随着心理测量技术的发展,目前兴起了一项新的项目编写技术——计算机项目自动生成,该技术能有效地改善传统CAT题库建设的不足。项目自动生成探讨测验项目无需在施测前人工编制,而是由计算机按指定要求自动生成,且项目测量学参数(如难度、区分度等)由相关认知模型或试题模板来确定,无需测试及等值。它能为CAT题库建设节约人力、物力及财力,是当代心理测量学追求的技术目标之一,实用价值不言而喻。所以,将项目自动生成技术和CAT技术融入认知诊断,发挥各自优势,则将为认知诊断及现代测验理论注入全新活力,有助于现代心理测量理论更好地服务实践。本研究尝试将计算机化自适应测验技术、项目生成技术融入小学儿童数学问题解决认知诊断,编制“项目自动生成的小学儿童数学问题解决认知诊断CAT系统”(简称ICC诊断系统),以高效、快速、准确地实现对小学儿童数学问题解决的认知诊断,为促进小学儿童相关认知发展及知识获取服务。为编制这一系统,本研究分为四个子研究进行,共编制三个子系统。研究一:小学儿童数学问题解决认知成分(模型)的确定,为ICC诊断系统的编制提供心理学理论支持:研究三至研究四主要是编制ICC诊断系统的三个重要组成部分(即三个子系统),分别是:小学儿童数学问题解决认知诊断测验子系统(研究二)、小学儿童数学问题解决认知诊断测验项目自动生成子系统(研究三)、项目自动生成的小学儿童数学问题解决认知诊断CAT子系统(研究四),三个子系统共同构成ICC诊断系统,用于实现对小学儿童数学问题解决的认知诊断。当然每个子系统的编制均涉及一些关键技术及算法,本研究均进行了相关探讨。研究表明:(1)数学关系复杂性成分和语言复杂性成分是影响小学儿童数学问题解决的主要认知成分(R~2=0.778,p<0.01)。(2)对852名小学儿童的诊断结果表明:第一、小学儿童对于加减问题解决所涉及的七个关键认知属性掌握的总体情况尚可。但对属性A4和A6掌握的相对较差,且在这两个属性掌握情况存在显著的年级差异和城乡差异。农村小学儿童对七个认知属性整体掌握的情况并不是十分理想,有67.68%的农村小学儿童存在不同的认知错误,有50%以上的农村小学儿童未掌握属性A4,应引起重视。第二、小学儿童所犯的认知错误主要有三类,而这些错误均与认知属性A4和A6有关。高年级儿童犯认知错误的种类数远少于低年级儿童,城市儿童犯认知错误的种类数多于农村儿童。第三、问题模型表征策略和直译表征策略是小学儿童两种主要的表征策略,但以问题模型策略为主。不同策略的使用情况上存在显著的年级和城乡差异,高年级和城市小学儿童使用的问题模型策略分别显著地高于低年级和农村小学儿童,直译策略则相反。农村小学儿童中,学生使用的策略以直译策略为主,这是导致农村儿童对加减问题解决总体不理想的主要原因。(3)本研究所设计的认知诊断测验项目的自动生成技术及其算法基本可行,小学儿童数学问题解决认知诊断项目自动生成效果较好。(4)认知诊断CAT中,初始题的选取方法、CAT选题策略均会影响诊断的准确性。本研究中提出的“T阵法”优于传统CAT常用的随机选取初始题方法;认知诊断CAT五种选题策略中SL_GDI最佳:“T阵法”与SL_GDI选题策略是十种搭配方案中最佳搭配方案,其对于七个独立型认知属性的模式判准率高达83.2%。(5)ICC诊断系统具有较高的重测信度,测量效度较好。