认知诊断评估是一种基于认知心理学并结合现代测量学的方法，旨在探索人类在特定领域的潜在认知过程和认知结构的测验形式。认知诊断模型内含一个简单或复杂的导入结构，是概率性的、验证性的多维潜在变量模型。这种模型适用于对可观察分类反应变量和不可观察的（如，潜在的）分类预测变量进行建模。要实现认知诊断的功能必须选择一个合适的认知诊断模型。在现有的上百种认知诊断模型中，RUM模型被誉为一个成功的认知诊断模型，因而被广泛应用。随后不少心理测量学家以RUM模型为基础，对其进行改良。其中HO-sRUM模型与RUM模型最为相似，两者都对高阶能力进行了诊断。在这两种模型中，最大的不同在于RUM模型的高阶能力是基于项目，而HO-sRUM模型的高阶能力是基于认知属性，显然在认知诊断测验中项目的个数明显多于属性的个数（一般为3倍左右）。因而使用RUM模型对认知诊断测验进行分析时会获得比较详尽的关于项目质量的信息，但同时也会由于需要识别的参数过多而带来识别困难。HO-sRUM模型虽然提供的项目质量的参数不如前者详细，但由于模型较前者精简，因而在参数识别过程中较前者有优势。因此对于测验使用者如何去选择一个合适的、性能好的、精度高的模型来服务于测验则是本研究想给予解答的问题，为使用者提供模型选择的依据。本研究通过模拟实验和实证实验对HO-sRUM模型和RUM模型性能进评价。其中模拟实验包含三个子研究：（1）RUM模型与HO-sRUM模型性能评价；（2）RUM模型与HO-sRUM模型容错性评价；（3） pc i (θ j)参数一致性程度对HO-sRUM模型估计性能影响评价。实证研究则使用HO-sRUM模型和RUM模型对真实的数据进行诊断，根据诊断的质量评价两个模型的性能。模拟研究部分分为三个子研究，在子研究一中RUM模型和HO-sRUM模型对其生成的数据进行估计，其项目参数估计结果准确性较高，质量较好。但两个模型对被试参数中的能力参数估计结果不如项目参数的理想，特别是RUM模型。在子研究二中将RUM模型和HO-sRUM模型独立生成的数据交换模型进行估计，既可以判断模型的容错性也可以佐证当RUM模型演变成HO-sRUM模型时结构的改变为模型识别带来什么样的后果。其实验结果表明在RUM模型和HO-sRUM模型中当生成模型与估计模型不一致的情况下，对模型的项目参数r*的估计影响较大，使其估计的精确性大大降低。而对另一项目参数π*、被试属性掌握模式的边际判准率以及模式判准率产生的影响不大，且两个模型结构稳定。子研究三将从pc i (θ j)结构着手，探索pc i (θ j)参数的一致性程度的高低将为HO-sRUM模型的估计和识别带来什么样的影响。其结果显示p ci (θ j)一致性程度高的样本数据其使用HO-sRUM模型进行诊断估计的结果良好，无论是项目参数还是被试参数都与真值十分接近，偏差甚小。而pc i (θ j)一致性程度低的情况下项目参数r*的估计偏差相对较大。这就进一步验证了p ci (θ j)对模型估计产生了一定的影响，特别是对于项目参数r*的估计。这个结论与ci参数的估计会为RUM模型中其他项目参数的识别带来困难这一结论相吻合(Hartz,2002)。为了获取对模型的评价更充分的理据，实证研究部分使用RUM模型和HO-sRUM模型对实证的数据进行分析，并从模型数据所估计项目参数和属性掌握模式的划分的可靠性和准确性对RUM模型和HO-sRUM模型诊断结果进行比较分析。研究的结果表明：1）对于RUM模型，在对无意义的项目参数进行删减后，模型的总判准率、一致性系数、重测信度等都相应增加，这意味着删减无意义属性后模型诊断的质量有所提高。2）RUM模型和HO-sRUM模型在对无意义属性进行删减前后项目参数估计结果大致稳定且一致。3）RUM模型的诊断中，大部分被试未能正确作答项目的原因是未掌握或掌握小于一般的作答项目所需要的项目属性。4）将删减部分属性前后的RUM模型所估计的项目参数与HO-sRUM模型在删减属性前后的结果作比较，发现两者的π*参数估计结果高度相关，而r*参数也存在显著相关，但其相关程度不及π*参数显著。5）在对RUM模型和HO-sRUM模型属性掌握模式分类一致性研究中发现，两个模型分类一致性程度良好。但在以(0.4,0.6)区间为分类标准时，其分类一致性程度比以0.5为分类标准的高，说明在0.4与0.6之间存在部分被试的分布，因此如何对这部分被试的属性掌握模式进行划分影响模型诊断分类的精确性。