论文部分内容阅读
摘 要: 本文通过总结1996-1999年外语题库建设研究文献,总结出该时期外语题库研究的主题、外语题库的建设实际发展进程等方面的特点和进展状况。分析发现,已有的文献研究重点突出了题库建设必要性研究、计算机自适应性考试、通用智能题库的建设,以及外语题库建设与外语测试的关系研究研究等,研究成果较为丰富,但是研究方法尚显单一。外语题库建设仍需要随着实践发展不断更新,需要在外语题库建设研究方面扩展研究视域。
关键词: 试题库 计算机题库 通用智能题库 计算机化自适应考试 外语测试
1.引言
考试是学校教学工作中的一个重要环节,不仅是检查学生基本理论、基本知识、基本技能掌握程度的主要手段,还是检查教师教学效果、评价教学质量的重要依据(马俊义,1996)。随着教育改革的深入开展,对考试制度和方法的研究已经引起普遍重视,题库的建设是改革考试制度和方法的一项重要内容,所以建立试题库的问题被提上了议程。试题库是指把大量试题按一定规则存储起来的计算机试题库。试题库应有高度的科学性,即试题所支持的数据应是客观的、实际的和非任意性的。试题必须经过预测或实测,并进行完整的数据分析,确认符合要求后,才能进入题库(吉绍锋,1999)。
随着科技发展,计算机在考试与试题库建设方面的应用越来越广泛,由此计算机适应性考试(Computerized Adaptive Testing,简称CAT)即依靠计算机完成的适应性考试发展起来。适应性考试的目的是对每一个考生提供难度合适的项目,项目难度与考生的能力“相适应”,过难或过易(因为其不能提供有关考生能力信息)的项目将不予采纳。项目反映理论(IRT)被用来对每一个考生选择难度合适的项目,这些项目对考生的能力提供了大量的信息(何莲珍,1999)。
试题的计算机管理和试卷的自动出卷或职能出卷在当时成为教育系统中一个十分引人注目的课题,采用试题库的题目进行考试的优点已成为很多教育专家的共识。然而,根据当时国内建设题库的情况来看,虽然研制试题库的单位较多,但是许多题库仅停留在对题库的管理上,对成套试卷的理论、试题的质量的研究还很少,许多试题库仅适用于某种专门学科。基于这些实际的问题和需要,通用型试题库管理系统的开发与建设被提上议程(曹军,1998)。
在1996-1999年期间,题库建设的必要性与重要性不断显现。随着科学技术的发展与早期题库局限性的显露,人们对题库建设的相关领域不断进行探索与开发。本文通过查阅1996-1999年中国知网上题库的相关研究文献,共收集到期刊论文42篇,依据这些文献,拟综述、分析当时我国题库建设的实际进展情况、存在的主要问题,进而指出题库的发展趋势。
2.研究方法
2.1理论依据
随着经典式测试理论(Classical TEST Theory)局限性的显露,近年来,项目反映理论(Item Response Theory)越来越多地被应用在试题分析和试题库建设中。项目反映理论是关于考生对试题的反映与考生潜在特征能力之间关系的理论。该理论的核心主要指三种数学模式:(1)单参数模式,即Rasch模式,只含难度参数值;(2)双参数模式,含有难(易)度和区分度两个参数;(3)三参数模式,包括难度、区分度和猜测指数三个参数(王建华,1999)。现代测量理论主要使用项目反映理论,不但采用了独立于样本的被试和项目参数定义,而且特别提出了项目信息函数与测验信息函数的概念,用测验目标信息函数来指导测验的编制(任爱华,武新利,1998)。此外,数学规划中的线性规划方法将组卷中的计量学指标(测验项目的难度、区分度、信息量等)和非计量学指标(测验项目的题型、考核内容的章节和重要性程度等的信息)有机统一在线性规划的目标函数与约束条件下,这样就可以实现计算智能组卷。
2.2研究对象
本文研究1996-1999年期间我国题库建设的总体情况,从理论上说,所有在我国发表的相关文献都能够成为研究对象,也就是理论上的总体,但是研究总体的全部一般不切实际,也没有必要。所以本文的研究对象定义为1996-1999年度区间在中国知网上发表的与我国题库建设相关的科研论文。
2.3研究问题
本文主要研究以下三个问题:
1996-1999年间中国知网上关于题库的研究现状如何?
1996-1999年间中国知网上关于题库的研究有哪些趋势?
1996-1999年间中国知网上关于题库的建设与使用中出现了哪些问题?
2.4数据收集方法
以中国知网文献为主,按照时间进行检索。首先以“item bank”为关键词进行检索,搜索15篇文献,其中7篇是关于题库建设的;再以“item banking”为关键词,检索到6篇文献,只有1篇是相关的;然后以“外语 题库”为关键词进行检索,查到86篇文献,其中有36篇相关文献;最后,以“计算机 题库”为关键词,检索出36篇与本文研究相关的文献。所以,供本次分析的论文共42篇。
2.5分析框架与数据分析
通过仔细阅读每篇论文的篇名与题库建设部分,分析1996-1999年间题库开发与建设的实际情况与发展进程,以及在发展过程中出现的问题与题库未来的发展趋势。找到的相关题库建设的文献根据主要内容可分为试题库建设、计算机适应性考试与通用智能试题库三大方面:
方面1:“试题库建立的重要性与必要性,以及建设与管理”,这是对题库开发与建设的出发点的研究。
考试是教学评估中的重要环节,然而,由任课教师命题的传统考试试卷带有一定程度上的主观性及随意性。为了避免或克服考试中存在的诸如试题取样不当、评分不客观、提醒单一、分数的价值不统一等问题,我们必须设计一套严格的、科学的、真正反映教与学水平的试卷,试题库的建设是势在必行的(罗平,1996)。试题库的建设不仅可以实现教、考分离,而且可以高标准地命题,对教师和学生都提出了更高要求,使试卷命题工作逐步科学化,考出学生实际水平,包括知识和能力水平,从而对教学质量的提高起到积极的促进作用。 试题库的建设与管理也是学校教学工作中一项较大规模的技术性工作,试题库的建立、完善和科学规范化的管理,需要各级领导的高度重视、有关部门的密切配合与考管人员和广大教师的共同努力。
方面2:“计算机适应性考试的发展与计算机题库管理系统的建设”是计算机软、硬件技术不断发展的成果,对试题库建设提出更高要求。
为了实现计算机化的自适应性考试,必须具备一个较大规模的题库。在自适应性考试的过程中,需要根据考生的答题情况决定继续测试题目的难度并随机抽取题目。为了使计算机化的自适应性考试得以顺利进行,题库必须具有相当的规模,试题库中的每道题目都具备知识内容、能力种类、难易度、区分度等方面的参数(朴日胜,雷玉双,1997)。计算机化自适应考试的发展对试题库建设提出了更高的要求。
计算机题库管理系统是指在计算机上建立试题库,然后由责任教师根据教学大纲的要求,随机从题库中选取合适的题目生成一份试卷的过程(任彪,乔维德,1999)。计算机试题库建设中首要考虑的两个主要因素是试题的难度值和试题内容的关联性系数。为保证试卷命题的质量,在试题库建立之初,就要做到试卷难易程度和题量大小要合适,所选的试题要能恰当地覆盖整个课程领域包含的知识和技能,以求考试达到预期目的。
方面3:“通用试题库的建设”避免了试题库自身的一些局限性。
尽管当时各种类型的试题库管理系统已经陆续推出,但是从使用效果上看,还存在很多不尽如人意之处,同时对各种类型的考试都开发出各自的题库管理系统不免造成大量人力、物力及财力的浪费。在此基础上,通用试题库系统建设就显得尤为重要。
通用试题库系统可为各学科教师提供多种形式的试卷,且试卷难易程度可根据实际情况自由控制;每份试卷都提供了标准答案、评分标准和详细解答;可对组成的试卷做修改、调整、分析、比较工作;各部分试题的录入、修改、删除和查询等;各试卷的输出预览、打印等;系统自身的维护、备份等功能(马克,1999)。该通用试题库系统适用于各门课程,更加有利于实现考教分离,从而达到提高教学管理水平和教学质量的目的。
3.结果与讨论
3.1题库研究之现状
1996-1999年间,对题库的研究在不断发展进步,相关研究文献逐年增多,对题库的建设也逐步深入。通过已投入使用的试题库,不断发现试题库建设的局限性与发展中的问题,并不断开发、探索更加合理的试题库系统。总之,在1996-1999年间,试题库建设的必要性与重要性被认可,合理利用快速发展的计算机技术促进计算机自适应性考试与计算机题库管理系统的建设,并开发出试题覆盖面更广泛的通用智能试题库,这一方面的研究还有很大空间。
3.2题库建设之趋势
1996-1999年间,试题库建设更加注重试题库的通用性和智能性,立足于传统教育理论和现代教育理论的有机结合,采用计算机等现代化管理手段,更加依靠计算机等科学技术,引用人工智能理论、教学理论及教育测量学理论指导组卷;将计算机密码学的理论和方法引入题库建设,对试题、答案等信息进行加密、解密及密匙管理(王丽娜,肖京,董晓梅,王大玲,李克洪,1999)。
3.3题库使用过程中出现的问题
1996-1999年间,试题库的建设中仍存在一些问题,如试题库系统的分析、设计、数据库设计、程序设计及编制、系统测试及运行等,还需要与软件工程系统有关理论联系起来,从而保证这些环节的合理性;题库编辑功能中还需要引入各种技术手段,实现集文本、图形和图像于一体的编辑方式;试题库的保密技术,包括用户身份识别、对不同级别用户的访问控制、信息的加密与解密及密匙管理等算法和相关技术研究有待加深;还要加强试题库中的评估模型及计算各统计指标的科学化、智能化。
4.结语
本文通过对发表在中国知网上(1996-1999年)与外语试题库建设相关的42篇调查论文进行文本分析,回顾了当时试题库建设的实际情况、发展趋势与存在的问题。研究结果表明,当时我国就有很多研究者在研究开发外语试题库,且传统试题库系统已经朝着与计算机技术紧密结合的通用试题库系统方向发展。通用试题库更是对原有试题库的升级开发,它克服了传统试题库的很多弊端,更具科学性。希望1996-1999年这段时间的文献研究能对我国外语试题库的建设提供一些今后研究的参照。
参考文献:
[1]马俊义,余荣珍.论高校试题库建设[J].信阳农专学报,1996(4).
[2]吉绍锋.浅谈计算机在外语教学中的应用[J].唐山高等专科学校学报,1999(1).
[3]马克.通用试题库系统的设计[J].青海师范大学学报,1999(3).
[4]罗平.关于我区高校试题库建设的若干思考[J].西藏大学学报,1996(1).
[5]任彪,乔维德.计算机题库管理系统的建立初探[J].南京广播电视大学学报,1999(18).
[6]朴日胜,雷玉双.英语四级题库系统[J].东北地区高校CAI论文专辑,1997,40-42.
[7]任爱华,武新利.题库建设的目标及数学模型[J].山东师大学报,1998,(12).
[8]曹军.通用试题库的设计[J].内蒙古农牧学院学报,1998(1).
[9]王丽娜,肖京,董晓梅,王大玲,李克洪.通用智能题库系统的设计与实现[J].控制理论与应用,1999(3).
[10]王丽娜,肖京,董晓梅,王大玲,李克洪.通用智能题库系统研究[J].东北大学学报,1999(2).
[11]何莲珍.认知计算机适应性考试模型的设计[J].现代外语,1999(2).
[12]王建华.外语试题库建设与项目反应理论[J].南宁职业技术学院学报,1999(2).
关键词: 试题库 计算机题库 通用智能题库 计算机化自适应考试 外语测试
1.引言
考试是学校教学工作中的一个重要环节,不仅是检查学生基本理论、基本知识、基本技能掌握程度的主要手段,还是检查教师教学效果、评价教学质量的重要依据(马俊义,1996)。随着教育改革的深入开展,对考试制度和方法的研究已经引起普遍重视,题库的建设是改革考试制度和方法的一项重要内容,所以建立试题库的问题被提上了议程。试题库是指把大量试题按一定规则存储起来的计算机试题库。试题库应有高度的科学性,即试题所支持的数据应是客观的、实际的和非任意性的。试题必须经过预测或实测,并进行完整的数据分析,确认符合要求后,才能进入题库(吉绍锋,1999)。
随着科技发展,计算机在考试与试题库建设方面的应用越来越广泛,由此计算机适应性考试(Computerized Adaptive Testing,简称CAT)即依靠计算机完成的适应性考试发展起来。适应性考试的目的是对每一个考生提供难度合适的项目,项目难度与考生的能力“相适应”,过难或过易(因为其不能提供有关考生能力信息)的项目将不予采纳。项目反映理论(IRT)被用来对每一个考生选择难度合适的项目,这些项目对考生的能力提供了大量的信息(何莲珍,1999)。
试题的计算机管理和试卷的自动出卷或职能出卷在当时成为教育系统中一个十分引人注目的课题,采用试题库的题目进行考试的优点已成为很多教育专家的共识。然而,根据当时国内建设题库的情况来看,虽然研制试题库的单位较多,但是许多题库仅停留在对题库的管理上,对成套试卷的理论、试题的质量的研究还很少,许多试题库仅适用于某种专门学科。基于这些实际的问题和需要,通用型试题库管理系统的开发与建设被提上议程(曹军,1998)。
在1996-1999年期间,题库建设的必要性与重要性不断显现。随着科学技术的发展与早期题库局限性的显露,人们对题库建设的相关领域不断进行探索与开发。本文通过查阅1996-1999年中国知网上题库的相关研究文献,共收集到期刊论文42篇,依据这些文献,拟综述、分析当时我国题库建设的实际进展情况、存在的主要问题,进而指出题库的发展趋势。
2.研究方法
2.1理论依据
随着经典式测试理论(Classical TEST Theory)局限性的显露,近年来,项目反映理论(Item Response Theory)越来越多地被应用在试题分析和试题库建设中。项目反映理论是关于考生对试题的反映与考生潜在特征能力之间关系的理论。该理论的核心主要指三种数学模式:(1)单参数模式,即Rasch模式,只含难度参数值;(2)双参数模式,含有难(易)度和区分度两个参数;(3)三参数模式,包括难度、区分度和猜测指数三个参数(王建华,1999)。现代测量理论主要使用项目反映理论,不但采用了独立于样本的被试和项目参数定义,而且特别提出了项目信息函数与测验信息函数的概念,用测验目标信息函数来指导测验的编制(任爱华,武新利,1998)。此外,数学规划中的线性规划方法将组卷中的计量学指标(测验项目的难度、区分度、信息量等)和非计量学指标(测验项目的题型、考核内容的章节和重要性程度等的信息)有机统一在线性规划的目标函数与约束条件下,这样就可以实现计算智能组卷。
2.2研究对象
本文研究1996-1999年期间我国题库建设的总体情况,从理论上说,所有在我国发表的相关文献都能够成为研究对象,也就是理论上的总体,但是研究总体的全部一般不切实际,也没有必要。所以本文的研究对象定义为1996-1999年度区间在中国知网上发表的与我国题库建设相关的科研论文。
2.3研究问题
本文主要研究以下三个问题:
1996-1999年间中国知网上关于题库的研究现状如何?
1996-1999年间中国知网上关于题库的研究有哪些趋势?
1996-1999年间中国知网上关于题库的建设与使用中出现了哪些问题?
2.4数据收集方法
以中国知网文献为主,按照时间进行检索。首先以“item bank”为关键词进行检索,搜索15篇文献,其中7篇是关于题库建设的;再以“item banking”为关键词,检索到6篇文献,只有1篇是相关的;然后以“外语 题库”为关键词进行检索,查到86篇文献,其中有36篇相关文献;最后,以“计算机 题库”为关键词,检索出36篇与本文研究相关的文献。所以,供本次分析的论文共42篇。
2.5分析框架与数据分析
通过仔细阅读每篇论文的篇名与题库建设部分,分析1996-1999年间题库开发与建设的实际情况与发展进程,以及在发展过程中出现的问题与题库未来的发展趋势。找到的相关题库建设的文献根据主要内容可分为试题库建设、计算机适应性考试与通用智能试题库三大方面:
方面1:“试题库建立的重要性与必要性,以及建设与管理”,这是对题库开发与建设的出发点的研究。
考试是教学评估中的重要环节,然而,由任课教师命题的传统考试试卷带有一定程度上的主观性及随意性。为了避免或克服考试中存在的诸如试题取样不当、评分不客观、提醒单一、分数的价值不统一等问题,我们必须设计一套严格的、科学的、真正反映教与学水平的试卷,试题库的建设是势在必行的(罗平,1996)。试题库的建设不仅可以实现教、考分离,而且可以高标准地命题,对教师和学生都提出了更高要求,使试卷命题工作逐步科学化,考出学生实际水平,包括知识和能力水平,从而对教学质量的提高起到积极的促进作用。 试题库的建设与管理也是学校教学工作中一项较大规模的技术性工作,试题库的建立、完善和科学规范化的管理,需要各级领导的高度重视、有关部门的密切配合与考管人员和广大教师的共同努力。
方面2:“计算机适应性考试的发展与计算机题库管理系统的建设”是计算机软、硬件技术不断发展的成果,对试题库建设提出更高要求。
为了实现计算机化的自适应性考试,必须具备一个较大规模的题库。在自适应性考试的过程中,需要根据考生的答题情况决定继续测试题目的难度并随机抽取题目。为了使计算机化的自适应性考试得以顺利进行,题库必须具有相当的规模,试题库中的每道题目都具备知识内容、能力种类、难易度、区分度等方面的参数(朴日胜,雷玉双,1997)。计算机化自适应考试的发展对试题库建设提出了更高的要求。
计算机题库管理系统是指在计算机上建立试题库,然后由责任教师根据教学大纲的要求,随机从题库中选取合适的题目生成一份试卷的过程(任彪,乔维德,1999)。计算机试题库建设中首要考虑的两个主要因素是试题的难度值和试题内容的关联性系数。为保证试卷命题的质量,在试题库建立之初,就要做到试卷难易程度和题量大小要合适,所选的试题要能恰当地覆盖整个课程领域包含的知识和技能,以求考试达到预期目的。
方面3:“通用试题库的建设”避免了试题库自身的一些局限性。
尽管当时各种类型的试题库管理系统已经陆续推出,但是从使用效果上看,还存在很多不尽如人意之处,同时对各种类型的考试都开发出各自的题库管理系统不免造成大量人力、物力及财力的浪费。在此基础上,通用试题库系统建设就显得尤为重要。
通用试题库系统可为各学科教师提供多种形式的试卷,且试卷难易程度可根据实际情况自由控制;每份试卷都提供了标准答案、评分标准和详细解答;可对组成的试卷做修改、调整、分析、比较工作;各部分试题的录入、修改、删除和查询等;各试卷的输出预览、打印等;系统自身的维护、备份等功能(马克,1999)。该通用试题库系统适用于各门课程,更加有利于实现考教分离,从而达到提高教学管理水平和教学质量的目的。
3.结果与讨论
3.1题库研究之现状
1996-1999年间,对题库的研究在不断发展进步,相关研究文献逐年增多,对题库的建设也逐步深入。通过已投入使用的试题库,不断发现试题库建设的局限性与发展中的问题,并不断开发、探索更加合理的试题库系统。总之,在1996-1999年间,试题库建设的必要性与重要性被认可,合理利用快速发展的计算机技术促进计算机自适应性考试与计算机题库管理系统的建设,并开发出试题覆盖面更广泛的通用智能试题库,这一方面的研究还有很大空间。
3.2题库建设之趋势
1996-1999年间,试题库建设更加注重试题库的通用性和智能性,立足于传统教育理论和现代教育理论的有机结合,采用计算机等现代化管理手段,更加依靠计算机等科学技术,引用人工智能理论、教学理论及教育测量学理论指导组卷;将计算机密码学的理论和方法引入题库建设,对试题、答案等信息进行加密、解密及密匙管理(王丽娜,肖京,董晓梅,王大玲,李克洪,1999)。
3.3题库使用过程中出现的问题
1996-1999年间,试题库的建设中仍存在一些问题,如试题库系统的分析、设计、数据库设计、程序设计及编制、系统测试及运行等,还需要与软件工程系统有关理论联系起来,从而保证这些环节的合理性;题库编辑功能中还需要引入各种技术手段,实现集文本、图形和图像于一体的编辑方式;试题库的保密技术,包括用户身份识别、对不同级别用户的访问控制、信息的加密与解密及密匙管理等算法和相关技术研究有待加深;还要加强试题库中的评估模型及计算各统计指标的科学化、智能化。
4.结语
本文通过对发表在中国知网上(1996-1999年)与外语试题库建设相关的42篇调查论文进行文本分析,回顾了当时试题库建设的实际情况、发展趋势与存在的问题。研究结果表明,当时我国就有很多研究者在研究开发外语试题库,且传统试题库系统已经朝着与计算机技术紧密结合的通用试题库系统方向发展。通用试题库更是对原有试题库的升级开发,它克服了传统试题库的很多弊端,更具科学性。希望1996-1999年这段时间的文献研究能对我国外语试题库的建设提供一些今后研究的参照。
参考文献:
[1]马俊义,余荣珍.论高校试题库建设[J].信阳农专学报,1996(4).
[2]吉绍锋.浅谈计算机在外语教学中的应用[J].唐山高等专科学校学报,1999(1).
[3]马克.通用试题库系统的设计[J].青海师范大学学报,1999(3).
[4]罗平.关于我区高校试题库建设的若干思考[J].西藏大学学报,1996(1).
[5]任彪,乔维德.计算机题库管理系统的建立初探[J].南京广播电视大学学报,1999(18).
[6]朴日胜,雷玉双.英语四级题库系统[J].东北地区高校CAI论文专辑,1997,40-42.
[7]任爱华,武新利.题库建设的目标及数学模型[J].山东师大学报,1998,(12).
[8]曹军.通用试题库的设计[J].内蒙古农牧学院学报,1998(1).
[9]王丽娜,肖京,董晓梅,王大玲,李克洪.通用智能题库系统的设计与实现[J].控制理论与应用,1999(3).
[10]王丽娜,肖京,董晓梅,王大玲,李克洪.通用智能题库系统研究[J].东北大学学报,1999(2).
[11]何莲珍.认知计算机适应性考试模型的设计[J].现代外语,1999(2).
[12]王建华.外语试题库建设与项目反应理论[J].南宁职业技术学院学报,1999(2).