论文部分内容阅读
过去的十年里,计算机化白适应测验(CAT)已经取代纸笔测验(P&P)成为许多大规模标准化测验的考试形式。目前,许多CAT测验的研究与应用存在着局限性,因为大多数的CAT不允许被试检查并修改答案。对被试来说,不允许返回检查并修改答案会给他们带来测验压力并影响其表现;对CAT考试机构来说,不允许被试检查并修改答案主要是担心:被试在检查修改阶段通过使用Wainer策略获得正偏的能力估计值,影响测验的公平性、公正性和准确性。如果能够提供这样一种解决方案,既允许被试检查并修改答案,又能够对付Wainer策略,其意义是不言而喻的。目前关于这方面的研究,国内刊物未见报导,国外研究也不多。相关研究存在的问题是,研究者仅仅记录修改后的答案并仅根据该记录评分,而对修改前的作答信息不予考虑。本文在对允许检查并修改答案的CAT进行研究的基础上,提出新的评分方式(式中符号见本文用到的主要符号说明):Vaj=Uaj×Beta+Ua,f+m×11一Beta)综合考虑修改前后的作答信息,并根据相应估计试图对付Wainer策略。
本文实验一采用MonteCarlo方法自编计算机程序模拟允许检查并修改答案的CAT,以考察不同的Beta值对能力估计的影响。研究结果表明:(1)相对于只考虑被试在自适应阶段的作答信息(Beta=1)或只考虑被试在检查修改阶段的作答信息(Beta=0),综合考虑被试的两次作答信息能够产生更加精确的能力估计值,尤其以Beta=O.5时能力估计的修复能力最强;(2)大部分的被试进行了修改;只有少部分的答案被修改;在被修改的答案中,大部分的答案是由错误改为正确,少部分的答案是由正确改为错误。实验二通过模拟测验数据,在评价Wainer策略有效性的基础上,试图采用新的评分方式对付Wainer策略。模拟结果表明:(1)在新的评分方式下,WainerStrategyCAT产生的能力估计值与能力真值存在着非常大的偏差,而且偏差随能力真值的增加而增加,并不能有效地对付Wainer策略;(2)当Beta:0时,综合WainerStrategyCAT的EAP值和MLE值可以比较“粗糙”地对付Wainer策略。