长期以来,议论文写作都是衡量外语写作水平的有效手段,但其评分客观性、公正性却饱受争议,究其原因主要有以下两个方面:第一,议论文写作评分是一种主观性评分,评分员在评分过程中难免出现认知偏差,产生主观印象,从而导致评分员效应。第二,影响评分员评分偏差的因素有许多,其研究多样、丰富,其中主要包括评分员背景、评分方式、以及阅卷方式等。随着科技以及人工智能的发展,有关机器评分的客观性以及可信度的研究层出不穷,但是,在现有的研究中,鲜有文献去讨论机器干预下评分员效应的变化及其对评分员行为的影响。本研究旨在分析机器干预下,评分是否一致以及评分员行为的变化,进而探索机器干预下评分员评分信度;机器干预评分的方式是否能减少语言对其他项的评分影响,即晕轮效应的出现。在本次研究中,作者邀请了5位评分员分别在2种不同的阅卷方式下给大学生议论文打分。两次评分标准相同,议论文样本相同,评分顺序随机。在第一次评分中,所有评分员给出全部三项评分,即语言、结构、内容。而在第二次评分中,评分员只需评结构项与内容项的分,语言项由iWrite给出。所得数据均采用多层面Rasch模型进行分析,除此以外,为了进一步探究评分员给分的深层次原因,作者还在评分结束以后对评分员进行了两次采访,要求评分员对阅卷过程种的行为、认知变化进行解释。最后,采访数据通过转录、标记、分类再结合数据结果分析评分员行为以及评分员对两种不同方式的认知。通过比较评分员在两种不同的评分方式下的评分结果与访谈数据,作者发现评分员在两种阅卷方式下都可以打出一致可靠的分数。同时,评分员在这两种阅卷方式下分别呈现了不相同的严厉度。但总体而言,在第二次评分中评分员对内容和结构项给分更趋严厉。此外,内容和结构项在第二种阅卷方式下区分度更大,且没有显著的晕轮效应。最后,大多数评分员更偏好第二种评分方式,他们认为机器给语言打分更高效、公正,且不会让评分员在评分过程中受语言的影响。