论文部分内容阅读
摘要： 本文针对目前计算机化考试中所存在的问题，提出了以项目反应理论为模型，运用Browser/Server三层体系结构，设计基于Web的适应性考试系统，理论、技术与方法并重，详细论述了自适应考试系统实现方法。
关键词： CTT IRT 考试系统 ASP
1 引言
随着计算机机和网络技术的发展和普及，计算机化考试得到越来越广泛的应用。这种考试形式可以相对减少考试各环节的人为主观因素，更快速、更客观、更安全地组织考试工作，并把教师从繁重的组卷、评卷、成绩分析等工作中解放出来。电子考试技术已经被广泛应用于各种学历考试、职称考试、证书考试中。
目前大多数考试系统主要采用的是经典测试理论（Classical Test Theory，CTT），无法测试出学生的真实水平。项目反应理论（Item Response Theory，IRT）与流行的经典测量理论相比，强调自适应测验（Adaptive Test），即测验能够自动地适应考生的认知水平，试题难度、数量、知识单元分布等可根据考生的特点而灵活变通。本文针对师范类高校公共基础课《计算机文化基础》课程的电子考试，采用项目反应理论构建自适应考试模型，运用Browser/Server三层体系结构，对适应性网络考试系统的开发进行了有益的尝试。
2 模型架构
经过了近百年的发展，经典测试理论对建立试卷、考分转换与等值等均有一套较为完整的方法。但由于经典测量理论的统计分析方法得到的各项指标主要依赖于特定的被试样本，那么当被试样本发生较大变化时，就不能有效地反映题库中试题属性（如难度、区分度等）。项目反应理论没有这方面的限制，项目反应理论强调的是自适应测验，其试题参数的求得与样本无关，它在估计试题属性的同时也估计了考生的认知水平。这样，不同样本组的试题属性值具有不变性，在不同样本组中求得的试题属性值，只是量纲位置不同。这时通过等值转换，把不同样本组中的题目参数转到同一量表上，就较好地解决了经典测量理论中的不足。
项目反应理论是以受测样本的回答问题的情况，经题目特征函数的运算，推测受测样本的水平。根据参数的不同，特征函数可分为单参数、双参数和三参数三种模式。公式如下：
单参数模式：P(θ)= ?摇?摇?摇?摇（1）
双参数模式：P(θ)= ?摇?摇?摇?摇（2）
三参数模式：P(θ)=c+(1-c) ?摇?摇?摇?摇（3）
其中：D=1.702：具有单位测度的因子，θ：受测样本的能力值。a：题目的区分度；b：题目的难度；c：题目的猜测系数。P(θ)：能力为θ的人答对此题目的概率。
根据特征函数可画出题目的特征曲线，图1为典型的三参数模式的特征曲线。
3 系统功能结构
适应性考试系统的功能结构如图2所示，可分为五个功能子系统。各子系统的功能是：①报名子系统：完成考试信息管理的维护、考试内容及相关信息的发布、考生报名、资格认证等；②安全子系统：实现对考试进行监督，保证所有参加考试的考生使用合法的机器在合法的时间里进行考试；③组卷子系统：实现根据各项参数从题库中抽取试题，如果参数相同，则随机显示试题；④考试子系统：实现与考生交互、自适应出题及实时阅卷等功能，由考生与题库的交互系统、出题接口和判卷接口组成；⑤评价子系统：对考试情况、学生对知识点的掌握情况进行评估，为教师教学提供参考。
4 系统实现的关键技术
根据功能设计的要求，在系统中采用Browser/Server三层体系结构。第一层是客户层，通常是一台计算机，客户可以通过使用GUI与应用程序进行交互；第二层是中间层，又包括表示层和业务层，通常是由一个或者多个应用服务器组成，应用服务器处理客户的请求，执行复杂的表示形式和业务逻辑，然后将结果返回给客户层；第三层是数据层，是驻留业务数据的地方，在处理业务逻辑时，由中间层访问数据层。
在系统实现过程中，采用ASP+Windows Server 2003+IIS5.0＋SQL Server 2005的架构。根据设计模型系统开发Web页、Web Server的处理程序及数据库管理三个部分。(1)Web页：Web页为用户提供了系统的界面和内容，并且通过对Web页面的选择和向Web服务器提交表单信息，由服务器处理请求信息后反馈给用户，以实现各种功能。(2)Web Server的处理程序：Web Server的处理程序负责客户层和数据层之间的联系以及相关信息的处理。信息的管理以及跟踪均使用到Java Servlet API提供的类库和接口实现。还可以使用ActiveX服务器组件扩充功能。(3)数据库管理：自适应考试系统中用户在线自适应性测试和对数据库的在线管理可以采用Web页面为对数据库的存取访问。本系统采用ADO与Web服务器连接，如图3所示。ADO支持任何与ODBC兼容数据库的操作，ADO允许网络开发者方便的将一个数据库与一个“激活”的网页相连接，以便存取和操作数据。
5 自适应测试
自适应测试过程大体分为两个阶段：试测阶段和精确估出真值阶段。
（1）试测阶段：若考生第一次登陆，学生模型库中并没有该考生的学习历史纪录，即无考生真实水平的信息，所以应设置一批探测性题目，初步估计其水平。具体做法是，从题库中随机调取一组中等难度水平题目测试，若考生能正确做答，则继之以较难题目；若被试不能正确作答，则继之以较易题目；到考生既有答对题目的反应资料，又有答错的资料时，即行停止。按题目反应理论参数估计要求，采用极大似然法，对其进行能力水平估计。假若学生模型库中已有该考生的学习纪录，则根据以前的测试记录来决定此次测试的开始题目。
（2）精确估出真值阶段：上一阶段初步估出的考生水平值，因测试题目太少，资料提供的信息量不多，不可能做到精确，所以需继续施测试题，积增信息量，修正所得估计值，以做到足够精确。自适应测试挑选续测试题的原则，就是要从题库中挑选难度最适当、信息量最大的题目。当题目信息量取值最大时，难度和能力水平值有式（4）的关系：
θ=b + log （a ，b ，c ：第i题的区分度、难度、猜测系数）（4）
随着测试题目的增加，题目信息量的累加也在不断增加，当这一累加和数值等于测验信息函数值（取决于对测量精度即估计标准误差的要求）时，测试就可以停止。这时估出的考生的能力水平值，误差达到指定的可接受程度。图4是自适应测试流程图。
6 结束语
笔者采用上述理论、方法及技术初步实现了“计算机文化基础适应性考试系统”的研究与开发。该系统的实施过程中，教师先要建立《计算机文化基础》课程中包含的若干知识点内容组成的题库，并将试题属性参数，包括测试题目的难度、区分度、认知分类等属性参数存储到知识库中。当某考生登录考试系统时，系统首先提供一组中等难度的试题进行测试，随即进入自适应测试的试测阶段。通过统计分析子系统的分析求得该考生的初步认知水平，进入精确估计阶段。在这一阶段要设置标准误差，继续施测，累积信息量，进行估计值的修正，最终得到较为精确的认知值的估计。
基于Web的自适应网络考试系统涉及现代教育理论、项目反应理论的研究与应用，集专家系统技术、Web技术、网络数据库技术于一体。该系统在Browser/Server模式下运行，通过浏览器与用户接口程序实现正点限时、分布与交互式考试、集中题库管理与安全控制操作，为课程自主教学提供了一种方便快捷的考试与教学测量方式。当然，在网络技术不断发展的今天，本系统还需进一步研究和完善，如何使网络环境下的自适应考试进一步地完善，使自适应考试与自学习系统更好地有机结合，将是下一步研究的目标。
参考文献：
［1］何克抗.建立题库的理论《全国CBE学会第七届学术会议论文集》.国防科技大学出版社，1995.11.
［2］张敏强.教育测量学.人民教育出版社，1997.
［3］刘波，段丽艳.一个基于Internet的通用题库系统的设计与实现.华南师范大学学报（自然科学版），2000.1.
［4］付聪.计算机自适应测试研究进展.现代情报，2005.1.
［5］精英科技.ASP核心技术.中国电力出版社，2001.
注：“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”
关键词： CTT IRT 考试系统 ASP
1 引言
随着计算机机和网络技术的发展和普及，计算机化考试得到越来越广泛的应用。这种考试形式可以相对减少考试各环节的人为主观因素，更快速、更客观、更安全地组织考试工作，并把教师从繁重的组卷、评卷、成绩分析等工作中解放出来。电子考试技术已经被广泛应用于各种学历考试、职称考试、证书考试中。
目前大多数考试系统主要采用的是经典测试理论（Classical Test Theory，CTT），无法测试出学生的真实水平。项目反应理论（Item Response Theory，IRT）与流行的经典测量理论相比，强调自适应测验（Adaptive Test），即测验能够自动地适应考生的认知水平，试题难度、数量、知识单元分布等可根据考生的特点而灵活变通。本文针对师范类高校公共基础课《计算机文化基础》课程的电子考试，采用项目反应理论构建自适应考试模型，运用Browser/Server三层体系结构，对适应性网络考试系统的开发进行了有益的尝试。
2 模型架构
经过了近百年的发展，经典测试理论对建立试卷、考分转换与等值等均有一套较为完整的方法。但由于经典测量理论的统计分析方法得到的各项指标主要依赖于特定的被试样本，那么当被试样本发生较大变化时，就不能有效地反映题库中试题属性（如难度、区分度等）。项目反应理论没有这方面的限制，项目反应理论强调的是自适应测验，其试题参数的求得与样本无关，它在估计试题属性的同时也估计了考生的认知水平。这样，不同样本组的试题属性值具有不变性，在不同样本组中求得的试题属性值，只是量纲位置不同。这时通过等值转换，把不同样本组中的题目参数转到同一量表上，就较好地解决了经典测量理论中的不足。
项目反应理论是以受测样本的回答问题的情况，经题目特征函数的运算，推测受测样本的水平。根据参数的不同，特征函数可分为单参数、双参数和三参数三种模式。公式如下：
单参数模式：P(θ)= ?摇?摇?摇?摇（1）
双参数模式：P(θ)= ?摇?摇?摇?摇（2）
三参数模式：P(θ)=c+(1-c) ?摇?摇?摇?摇（3）
其中：D=1.702：具有单位测度的因子，θ：受测样本的能力值。a：题目的区分度；b：题目的难度；c：题目的猜测系数。P(θ)：能力为θ的人答对此题目的概率。
根据特征函数可画出题目的特征曲线，图1为典型的三参数模式的特征曲线。
3 系统功能结构
适应性考试系统的功能结构如图2所示，可分为五个功能子系统。各子系统的功能是：①报名子系统：完成考试信息管理的维护、考试内容及相关信息的发布、考生报名、资格认证等；②安全子系统：实现对考试进行监督，保证所有参加考试的考生使用合法的机器在合法的时间里进行考试；③组卷子系统：实现根据各项参数从题库中抽取试题，如果参数相同，则随机显示试题；④考试子系统：实现与考生交互、自适应出题及实时阅卷等功能，由考生与题库的交互系统、出题接口和判卷接口组成；⑤评价子系统：对考试情况、学生对知识点的掌握情况进行评估，为教师教学提供参考。
4 系统实现的关键技术
根据功能设计的要求，在系统中采用Browser/Server三层体系结构。第一层是客户层，通常是一台计算机，客户可以通过使用GUI与应用程序进行交互；第二层是中间层，又包括表示层和业务层，通常是由一个或者多个应用服务器组成，应用服务器处理客户的请求，执行复杂的表示形式和业务逻辑，然后将结果返回给客户层；第三层是数据层，是驻留业务数据的地方，在处理业务逻辑时，由中间层访问数据层。
在系统实现过程中，采用ASP+Windows Server 2003+IIS5.0＋SQL Server 2005的架构。根据设计模型系统开发Web页、Web Server的处理程序及数据库管理三个部分。(1)Web页：Web页为用户提供了系统的界面和内容，并且通过对Web页面的选择和向Web服务器提交表单信息，由服务器处理请求信息后反馈给用户，以实现各种功能。(2)Web Server的处理程序：Web Server的处理程序负责客户层和数据层之间的联系以及相关信息的处理。信息的管理以及跟踪均使用到Java Servlet API提供的类库和接口实现。还可以使用ActiveX服务器组件扩充功能。(3)数据库管理：自适应考试系统中用户在线自适应性测试和对数据库的在线管理可以采用Web页面为对数据库的存取访问。本系统采用ADO与Web服务器连接，如图3所示。ADO支持任何与ODBC兼容数据库的操作，ADO允许网络开发者方便的将一个数据库与一个“激活”的网页相连接，以便存取和操作数据。
5 自适应测试
自适应测试过程大体分为两个阶段：试测阶段和精确估出真值阶段。
（1）试测阶段：若考生第一次登陆，学生模型库中并没有该考生的学习历史纪录，即无考生真实水平的信息，所以应设置一批探测性题目，初步估计其水平。具体做法是，从题库中随机调取一组中等难度水平题目测试，若考生能正确做答，则继之以较难题目；若被试不能正确作答，则继之以较易题目；到考生既有答对题目的反应资料，又有答错的资料时，即行停止。按题目反应理论参数估计要求，采用极大似然法，对其进行能力水平估计。假若学生模型库中已有该考生的学习纪录，则根据以前的测试记录来决定此次测试的开始题目。
（2）精确估出真值阶段：上一阶段初步估出的考生水平值，因测试题目太少，资料提供的信息量不多，不可能做到精确，所以需继续施测试题，积增信息量，修正所得估计值，以做到足够精确。自适应测试挑选续测试题的原则，就是要从题库中挑选难度最适当、信息量最大的题目。当题目信息量取值最大时，难度和能力水平值有式（4）的关系：
θ=b + log （a ，b ，c ：第i题的区分度、难度、猜测系数）（4）
随着测试题目的增加，题目信息量的累加也在不断增加，当这一累加和数值等于测验信息函数值（取决于对测量精度即估计标准误差的要求）时，测试就可以停止。这时估出的考生的能力水平值，误差达到指定的可接受程度。图4是自适应测试流程图。
6 结束语
笔者采用上述理论、方法及技术初步实现了“计算机文化基础适应性考试系统”的研究与开发。该系统的实施过程中，教师先要建立《计算机文化基础》课程中包含的若干知识点内容组成的题库，并将试题属性参数，包括测试题目的难度、区分度、认知分类等属性参数存储到知识库中。当某考生登录考试系统时，系统首先提供一组中等难度的试题进行测试，随即进入自适应测试的试测阶段。通过统计分析子系统的分析求得该考生的初步认知水平，进入精确估计阶段。在这一阶段要设置标准误差，继续施测，累积信息量，进行估计值的修正，最终得到较为精确的认知值的估计。
基于Web的自适应网络考试系统涉及现代教育理论、项目反应理论的研究与应用，集专家系统技术、Web技术、网络数据库技术于一体。该系统在Browser/Server模式下运行，通过浏览器与用户接口程序实现正点限时、分布与交互式考试、集中题库管理与安全控制操作，为课程自主教学提供了一种方便快捷的考试与教学测量方式。当然，在网络技术不断发展的今天，本系统还需进一步研究和完善，如何使网络环境下的自适应考试进一步地完善，使自适应考试与自学习系统更好地有机结合，将是下一步研究的目标。
参考文献：
［1］何克抗.建立题库的理论《全国CBE学会第七届学术会议论文集》.国防科技大学出版社，1995.11.
［2］张敏强.教育测量学.人民教育出版社，1997.
［3］刘波，段丽艳.一个基于Internet的通用题库系统的设计与实现.华南师范大学学报（自然科学版），2000.1.
［4］付聪.计算机自适应测试研究进展.现代情报，2005.1.
［5］精英科技.ASP核心技术.中国电力出版社，2001.
注：“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”