写作测试作为一种行为测试在近年得到了很大重视,并广泛应运于各种大小型测试中。写作测试以其高效度著称,但写作测试属于主观性测试,不可避免地受到评分过程中的评分人的主观因素的影响,因此评测结果缺乏信度。无论采取哪种评分方法,评分信度是行为测试中的重点之一。对于写作评分过程中使用的评分方法——整体评分法与分项评分法,在语言测试界中存在着很大的争议。使用哪种评分方法可达到更高的评分信度,至今尚无定论,且相关的实证性研究为数不多。本文主要通过在实验中使用整体法和分项法两种评分标准,采用概化理论及分析工具GENOVA,SPSS13.0,对比两种评分方法的优缺点,特别是评分效率和评分信度、以及对测试决策的影响,进行整体与分项两种作文评分方法的定性定量的比较研究。研究步骤分为三步:1.写作测试的实施及60份样卷的随机抽取;2. 4位有丰富写作评分经验的评分员在严格控制下完成2组评分实验;3.实验后对评分员进行问卷调查。研究结果表明:(1)整体评分法的评分效率显著高于分项评分法,整体评分法在经济性与可操作性方面比分项评分法更具优势; (2)整体评分法的评分结果概化系数及可靠性系数与分项评分法相比都更高; (3)因此,在大规模的写作测试评分中,使用整体评分标准将更加合适。以上结论为怎样使用两种评分方法更好进行写作评分提出了建议。本文研究的价值主要有2个方面:首先,本研究在Bachman及McNamara的理论的基础上,指出了评分方法是影响写作测试结果的一个因素;其次,为实施语言测试中的写作评分提出了参考意见,并且基于评分结果的准确性对测试决策的公平性做出了新的贡献。最后,作者还提出了本文研究的局限和不足以及在此领域有待进一步研究的问题。