语言测试的真实性问题是现代语言测试中被高度重视的一个敏感课题。真实的语言测试能够检测出考生的语言水平和运用语言的能力。要达到真实性的要求,就应保证测试过程中任务的选择,测试材料的形式,题型,实施以及评分过程和分数解释的真实性,而主观试题的评分是真实性研究中未受重视的环节。目前,国内外在主观性写作测试评分过程中的真实性研究,尤其是实证研究方面尚属空白。本文研究的目的是考察评分过程中的真实性问题,具体来说,定量分析主要包含一下几个方面的内容:1)评分教师是否能够采用不同的评分标准,进而被分成两个不同平分组,即传统性评分组(TBR)和真实性评分组(ABR)?2)如果他们能被区分开,那么两组评分员给出的分数是否存在显著性差异?3)两种评分标准给出的分数,对于低分组和高分组的学生来说是否存在显著性差异?定性研究分析两组评分员对于学生分数是否有不同的解释。本实验的研究对象是20名英语教师。根据Bachman and Palmer(1996)的真实性理论,把他们分成两组,每组10人。为了能够科学地区分开两组评分员,本实验采用卡方检验为区分提供了可靠的实证证据。本文采用的12篇写作样本,是从山西大学外语学院本科二年级学生中通过系统抽样取得。20名教师分别对12份写作样本进行评分,并按照重要性顺序写出评分的三个理由,并完成调查问卷。研究结果表明:传统性评分和真实性评分在学生分数上并不存在显著性差异。然而,对于低分组学生来说,两种方式的评分结果存在显著性差异,而高分组学生的差异不显著。两组评分员在评分过程中对评分标准的理解有着明显的差别。真实性评分员更加注重学生的语言运用能力,例如,内容相关性、可理解性和任务完成性。与之相对,传统性评分员则明显强调学生的写作语言知识,例如,语法、句法、篇章组织。最后,本文指明了此次研究的意义及其局限性,并为将来的进一步研究指出了方向。