论文部分内容阅读
设定标准参照测验(Criteria Referenced Test,CRT)的合格标准,也即"标准设定"(standard setting),一直是大规模、高风险、高厉害性执业(职业)资格考试的重要环节。其关键在于,能否科学规范地将行业所要求的达标水平准确映射到资格考试的测验分数尺度上(test score scale),也即"分数线"、"及格线"或"合格线"。传统的标准设定方法,通常基于专家的主观判断,典型的有:Angoff法、Ebel法、Nedelsky法、Jaeger法,等等。此类方法的弊端在于,标准设定的过程易受主观因素影响;比如:当所遴选的专家不同、或者专家培训的程序不同时,标准设定的结果也可能不同。为此,国外早在上世纪90年代就有学者提出了客观性标准设定的想法,这其中最典型的思路就是采用聚类分析算法来代替专家的主观判断(Sireci,1995,1999,2001;Lee,1999;Meara,2001;Violato,Marini,&Lee,2003;Sadesky,2004)。基于聚类分析法进行标准设定的实证研究尽管并不多见,但已有研究结果均表明:基于聚类分析算法的客观性标准设定方法具有一定的准确性和可靠性。从聚类分析的算法来看,已有研究主要使用了K-means法和HCA(层次聚类算法)。两阶聚类算法(Two Step Cluster Algorithm,TSC)是SPSS11.5版本后新增的一种聚类算法。与K-means、HCA法相比,TSC具有自动确定聚类个数的优点,且适用范围更广,因而更适合用于标准设定。为此,本文探讨了基于两阶聚类法的客观性标准设定的基本原理、方法和操作流程,并以某执业医师资格考试的抽样数据为基础,将该法与基于专家主观判断的标准设定结果进行交叉验证。研究结果表明:1.两阶聚类法能够将所有考生划分为两个类别(合格与不合格);2.基于两阶聚类算法的标准设定方法具有较好的稳健性;3.该法与基于专家主观判断所设定的合格标准相当吻合。