论文部分内容阅读
认知诊断评估(Cognitive Diagnosis Assessment, CDA)以反应学生认知过程的认知模型为基础,对个体的认知过程、知识结构进行诊断评估。CDA中认知模型准确、合理至关重要,直接影响认知诊断的准确性。目前,关于认知模型合理性验证的指标均针对0-1计分数据,而面对多级计分测验情境,研究者往往将其转换为0-1计分,这会损失部分信息造成对认知模型不精确的评价。据此,本研究将0-1计分层级一致性指标(Hierarchy Consistency Index, HCI)拓展为多级计分层级一致性指标(Generalized Hierarchy Consistency Index, GHCI),并探讨了GHCI的稳定性与精确性。研究分为5个子研究。研究1拓展了层级一致性指标,并针对不同得分情况说明GHCI的可行性、采用具体例子说明GHCI特点。研究2通过模拟研究将GHCI、不同转换比例下的HCI进行比较,并说明HCI在多级计分中随转换比例的变化。研究3通过模拟研究探讨GHCI对不同层级结构错误(错层、颠倒、有变无、无变有)的灵敏性。研究4通过模拟研究探讨GHCI对被试不同类型异常反应的灵敏性。研究5采用GHCI分析小学数学应用题问题解决中认知模型的合理性并检测异常反应被试,以说明GHCI在教育实践中的适用性。具体研究结果如下:(1)本研究对GHCI的拓展是可行的、合理的。GHCI针对多级计分的不同得分情况是可行的,可用于混合计分数据。GHCI较HCI具有一定的优势,对被试反应的评价更细致和准确。(2)对各属性层级结构下多级计分数据的模拟中,GHCI均值显著大于各种转换比例下的HCI均值,HCI低估了被试数据与认知模型的一致性。HCI受到转换比例的影响。随转换比例的提高,不同属性层级结构中HCI变化情况各不相同。(3) GHCL对层级关系错误具有灵敏性。针对不同类型的层级关系错误,GHCI均表现出随着错误程度的加深,其均值的降幅逐渐增大。GHCI;对不同类型的层级关系错误的灵敏性不同:在层级关系错层、属性颠倒、层级关系无变有的误设中GHCI均值随着误设程度的加深,降幅明显增加;在层级关系有变无中GHCI均值降幅均较小,对其灵敏性较其他类型层级关系错误较差。(4) GHCI. HCI对异常反应的灵敏性各有优势。GHCI对创造性反应的检出率更高,HCI对层级结构错误造成的异常反应的检出率更高。GHCI、HCI的检出率均随着测验长度的增加而上升。GHCI、HCI对创造性反应上检出率随区分度的降低逐渐下降,对层级错误造成的异常反应的检出率随区分度的降低,在不同项目个数中变化趋势各不相同。(5)实证研究中,小学数学应用题问题解决的GHCI均值为.757,大于其截断值,验证了该层级结构合理,能够反应学生应用题问题解决的认知规律。作为个人拟合指标,GHCI的截断值波动范围较小,更稳定。GHCI、HCI检出的异常反应被试各不相同。(6)实证研究中HCI随转换比例的增大,其均值逐渐下降。GHCI显著大于100%转换比例下HCI。HCI估了大部分学生作答状况与期望作答模式的一致性和属性层级结构合理性。GHCI对被试反应模式与期望模式的一致性的评价更细致。