论文部分内容阅读
摘要： 本文分析了大学英语四级考试的作文部分评分的信度，对认识全国重大的考试评分必须保持高评分信度有一定的意义。
关键词： 大学英语四级考试 作文阅卷评分 高信度
一、引言
信度，即可靠性，衡量测试的准确性和稳定性。每一项测试的结果都应该尽可能保持高信度。大学英语四级考试中安排短文写作这一部分，主要目的是考核学生用英语进行书面表达的能力，也就是说主要是考核语言运用能力。
作文是主观题。所谓主观题是指在阅卷过程中评分要依靠阅卷员的主观判断的题目。至于命题和答题，当然是主观的。这些因素最终都会影响到对作文阅卷的判分。要使作文卷的分数能正确地反映考生的真实能力，如果不考虑考生本身这一因素，则影响最大的主要是命题和阅卷两个因素。
二、大学英语四级考试的作文部分评分方法
大学英语四级考试的作文部分对考生写什么内容有比较明确的要求，用各种明确的方式如提纲、图表、关键词等加以规定。采用有控制的作文也有利于提高评分的一致性。对作文评分影响最大的是评分过程。同一篇作文，不同的阅卷员可能给出不同的分数。提高作文阅卷的信度就是要保证评分的一致性，包括阅卷员本人的一致性、阅卷员之间的一致性和阅卷点之间的一致性，要采取一定的质量控制措施尽量减少和滤除阅卷员评分的主观性对分数客观性的影响。作文题的评分通常有两种方法：一种是综合法，一种是分析法。综合法是凭阅卷员通读一遍的总体印象打分。综合法的优点是能从总体上把握通篇印象，评卷速度比较快。考虑到大学英语四级考试规模太大，因此，决定采用综合法。分数要经过加权处理、等值处理、正态化转换等一系列转换过程。［１］
三、如何保证大学英语四级考试作文阅卷评分的高信度
大学英语四级考试的作文阅卷如何保证高信度呢？以下略加论述。
第一，参加大学英语四级考试的作文阅卷者都要接受严格的培训。为了保证阅卷员的阅卷信度（包括阅卷员本人的评分一致性、阅卷员之间的评分一致性、阅卷点之间的评分一致性），大学英语四级考试采取了一系列措施，包括制定明确的评分标准、确定评分参照卷（range-finders）、严格的阅前培训、阅卷过程随机抽查等。在采取以上这些有效措施后依然存在的误差可以称为系统误差，大学英语四级考试开发了一套软件系统，根据考生在主、客观题上得分的相关性进行调整，以滤除系统误差。事实上，四级考试每次都要在全国范围内动员1500—2000名教师阅卷，阅卷工作是一种辛苦的付出，阅卷过程有严格的质量控制措施，并且用计算机滤除阅卷员的主观因素，使阅卷信度达到0.87，这在国内各种大规模考试中是很不容易做到的。［２］
第二，阅卷者首先要熟练掌握四级考试的作文评分标准。大学英语四级考试的作文评分标准如下：
1.本题满分为15分。
2.阅卷标准共分五等：2分、5分、8分、11分及14分。各有标准样卷一至二份。
3.阅卷人员根据阅卷标准，对照样卷评分，若认为与某一分数（如8分）相似，即定为该分数（即8分）；若认为稍优或稍劣于该分数，即可加一分（即9分）或减一分（即7分），但不得加或减半分。
4.评分标准：2分：条理不清，思路紊乱，语言支离破碎或在部分句子均有错误，且多数为严重错误。5分：基本切题。表达思想不清楚，连贯性差，有较多的严重语言错误。8分：基本切题。有些地方表达思想不够清楚，文字勉强连贯；语言错误相当多，其中有一些是严重错误。11分：切题。表达思想清楚，文字连贯，但有少量语言错误。14分：切题。表达思想清楚，文字通顺，连贯性好。基本上无语言错误，仅有个别小错误。［注：白卷，作文与题目毫不相关，或只有几个孤立的词而无法表达思想，则给0分。］
然后，根据评分标准，阅卷者被要求在规定的时间内评阅20至30篇考生的四级作文，那些作文都已经由评卷专家集体讨论给出了分数。如果阅卷者给出的分数与专家给出的分数基本一致，培训就可以结束。如果某些阅卷者给出的分数与专家给出的分数相差比较大，那么，他们将被要求继续学习评分标准，再在规定的时间内评阅20至30篇与开始类似的四级作文，直到他们给出的分数与专家给出的分数基本一致，才可以通过培训。
第三，CET作文网上联机阅卷具有四大显著特点：1.随机分发试卷；2.实时监控阅卷员；3.控制阅卷质量；4.高效记录分数和数据。这些特点相应构成了CET作文网上联机阅卷相对于传统会议式阅卷所具有的四大优势。CET作文网上联机阅卷得到了参与阅卷教师的肯定。每10至12位阅卷人被分为一个小组，统一由该组组长指导监督。阅卷者可以看一看本组电脑上的本组阅卷者所给的分数平均值图表，以判断自己所评的分数是否信度比较高。如果某一位阅卷者在某一段时间内给出的分数与本组其他阅卷人给出的分数的平均值相差太远，组长就会提醒阅卷者注意，甚至被要求重阅。
第四，阅卷者给出的作文分数要与该考生的总分和其他各项成绩（比如：阅读、听力和翻译等）的相关系数基本一致。相关系数法是另一种测量题目区分度的方法。它的基本原理是：如果某个题目有比较高的区分度，那么，该题目的得分和总分一定有比较高的相关系数。我们想了解一个变量是怎样和别的变量联系的，这在统计学中叫做回归。两个变量的回归并非那么绝对，有程度之别，这就是它们之间的相关系数。［３］相关系数高，信度也高。反之亦然。如果阅卷者给出的作文分数与该考生的总分的相关系数太低，组长就会提醒阅卷者注意，甚至被要求重阅。
四、结语
综上所述，全国大学英语四级考试委员会和全国大学英语四级考试的作文阅卷点的管理部门用科学的方法来保证四级考试的作文阅卷有高信度。因此，大学英语四级考试的作文阅卷的信度是很高的。
参考文献：
［1］［2］杨惠中.金艳大学英语四、六级考试分数解释［J］.外语界，2001.（1）.
［3］桂诗春，宁春岩.语言学方法论［M］.外语教学与研究出版社，2002.
关键词： 大学英语四级考试 作文阅卷评分 高信度
一、引言
信度，即可靠性，衡量测试的准确性和稳定性。每一项测试的结果都应该尽可能保持高信度。大学英语四级考试中安排短文写作这一部分，主要目的是考核学生用英语进行书面表达的能力，也就是说主要是考核语言运用能力。
作文是主观题。所谓主观题是指在阅卷过程中评分要依靠阅卷员的主观判断的题目。至于命题和答题，当然是主观的。这些因素最终都会影响到对作文阅卷的判分。要使作文卷的分数能正确地反映考生的真实能力，如果不考虑考生本身这一因素，则影响最大的主要是命题和阅卷两个因素。
二、大学英语四级考试的作文部分评分方法
大学英语四级考试的作文部分对考生写什么内容有比较明确的要求，用各种明确的方式如提纲、图表、关键词等加以规定。采用有控制的作文也有利于提高评分的一致性。对作文评分影响最大的是评分过程。同一篇作文，不同的阅卷员可能给出不同的分数。提高作文阅卷的信度就是要保证评分的一致性，包括阅卷员本人的一致性、阅卷员之间的一致性和阅卷点之间的一致性，要采取一定的质量控制措施尽量减少和滤除阅卷员评分的主观性对分数客观性的影响。作文题的评分通常有两种方法：一种是综合法，一种是分析法。综合法是凭阅卷员通读一遍的总体印象打分。综合法的优点是能从总体上把握通篇印象，评卷速度比较快。考虑到大学英语四级考试规模太大，因此，决定采用综合法。分数要经过加权处理、等值处理、正态化转换等一系列转换过程。［１］
三、如何保证大学英语四级考试作文阅卷评分的高信度
大学英语四级考试的作文阅卷如何保证高信度呢？以下略加论述。
第一，参加大学英语四级考试的作文阅卷者都要接受严格的培训。为了保证阅卷员的阅卷信度（包括阅卷员本人的评分一致性、阅卷员之间的评分一致性、阅卷点之间的评分一致性），大学英语四级考试采取了一系列措施，包括制定明确的评分标准、确定评分参照卷（range-finders）、严格的阅前培训、阅卷过程随机抽查等。在采取以上这些有效措施后依然存在的误差可以称为系统误差，大学英语四级考试开发了一套软件系统，根据考生在主、客观题上得分的相关性进行调整，以滤除系统误差。事实上，四级考试每次都要在全国范围内动员1500—2000名教师阅卷，阅卷工作是一种辛苦的付出，阅卷过程有严格的质量控制措施，并且用计算机滤除阅卷员的主观因素，使阅卷信度达到0.87，这在国内各种大规模考试中是很不容易做到的。［２］
第二，阅卷者首先要熟练掌握四级考试的作文评分标准。大学英语四级考试的作文评分标准如下：
1.本题满分为15分。
2.阅卷标准共分五等：2分、5分、8分、11分及14分。各有标准样卷一至二份。
3.阅卷人员根据阅卷标准，对照样卷评分，若认为与某一分数（如8分）相似，即定为该分数（即8分）；若认为稍优或稍劣于该分数，即可加一分（即9分）或减一分（即7分），但不得加或减半分。
4.评分标准：2分：条理不清，思路紊乱，语言支离破碎或在部分句子均有错误，且多数为严重错误。5分：基本切题。表达思想不清楚，连贯性差，有较多的严重语言错误。8分：基本切题。有些地方表达思想不够清楚，文字勉强连贯；语言错误相当多，其中有一些是严重错误。11分：切题。表达思想清楚，文字连贯，但有少量语言错误。14分：切题。表达思想清楚，文字通顺，连贯性好。基本上无语言错误，仅有个别小错误。［注：白卷，作文与题目毫不相关，或只有几个孤立的词而无法表达思想，则给0分。］
然后，根据评分标准，阅卷者被要求在规定的时间内评阅20至30篇考生的四级作文，那些作文都已经由评卷专家集体讨论给出了分数。如果阅卷者给出的分数与专家给出的分数基本一致，培训就可以结束。如果某些阅卷者给出的分数与专家给出的分数相差比较大，那么，他们将被要求继续学习评分标准，再在规定的时间内评阅20至30篇与开始类似的四级作文，直到他们给出的分数与专家给出的分数基本一致，才可以通过培训。
第三，CET作文网上联机阅卷具有四大显著特点：1.随机分发试卷；2.实时监控阅卷员；3.控制阅卷质量；4.高效记录分数和数据。这些特点相应构成了CET作文网上联机阅卷相对于传统会议式阅卷所具有的四大优势。CET作文网上联机阅卷得到了参与阅卷教师的肯定。每10至12位阅卷人被分为一个小组，统一由该组组长指导监督。阅卷者可以看一看本组电脑上的本组阅卷者所给的分数平均值图表，以判断自己所评的分数是否信度比较高。如果某一位阅卷者在某一段时间内给出的分数与本组其他阅卷人给出的分数的平均值相差太远，组长就会提醒阅卷者注意，甚至被要求重阅。
第四，阅卷者给出的作文分数要与该考生的总分和其他各项成绩（比如：阅读、听力和翻译等）的相关系数基本一致。相关系数法是另一种测量题目区分度的方法。它的基本原理是：如果某个题目有比较高的区分度，那么，该题目的得分和总分一定有比较高的相关系数。我们想了解一个变量是怎样和别的变量联系的，这在统计学中叫做回归。两个变量的回归并非那么绝对，有程度之别，这就是它们之间的相关系数。［３］相关系数高，信度也高。反之亦然。如果阅卷者给出的作文分数与该考生的总分的相关系数太低，组长就会提醒阅卷者注意，甚至被要求重阅。
四、结语
综上所述，全国大学英语四级考试委员会和全国大学英语四级考试的作文阅卷点的管理部门用科学的方法来保证四级考试的作文阅卷有高信度。因此，大学英语四级考试的作文阅卷的信度是很高的。
参考文献：
［1］［2］杨惠中.金艳大学英语四、六级考试分数解释［J］.外语界，2001.（1）.
［3］桂诗春，宁春岩.语言学方法论［M］.外语教学与研究出版社，2002.