论文部分内容阅读
【摘要】本文以15年来发表于国内与翻译学研究相关的核心期刊上的口译质量评估论文为依据，考察口译质量评估实证性研究在中国的发展。通过对目标文献逐一分析，文章指出国内口译质量评估实证性研究的特点为：注重与口译教学互动，注重与口译使用者的互动，实验操作趋于科学化；存在的主要问题为：实验性研究数量过少，实验设计欠完善，研究对象太单一。
【关键词】口译质量评估实证性研究 文献计量研究 特点 问题
【中图分类号】H319 【文献标识码】A 【文章编号】2095-3089（2017）01-0249-02
1.引言
口译的质量评估一直是困扰译界的一大难题。随着我国对外交流的迅猛发展，口译活动日益职业化。自从改革开放以来，中外的交流日趋频繁，也带动了国内口译活动及其研究的蓬勃发展。人们对口译实践、培训质量的科学界定与客观评估的要求越来越迫切。现在我们经常可以在一些学术性翻译杂志上看到口译研究的文章。但是却很少看到关于口译质量评估的文章。即便国内有关这方面的研究已开始于八十年代初期，然而大都只是基于译员的经验而进行的一些对个人口译实践的反思。应当说中国译界是从八十年代末九十年代初开始关注翻译质量评估的研究的。
2.口译质量评估的定义
2.1 口译质量评估。一般指对口译活动质量高低、优劣的衡量。然而构成翻译质量的成分很复杂，既指译语产出、传输的质量，也包括现场的公众反映及由此达成的交际效果。且不同的评估目的、评估模式还会改变评估的成分比例，使“翻译质量”或专指译员的翻译能力，或倾向公众对服务的反馈，或两者兼备。
2.2 质量评估的种类。口译质量评估有成果评估与过程评估两大类型。口译成果评估包括质量评定与效果测量，前者仅指译员的译语质量，后者为口译服务对象对口译效果的客观反馈。口译过程评估主要是对译员在工作中，心理语言运用、心理因素影响、认知知识活动的了解，例如译员掌握职业技能、运用技能、发展技能、认知负荷协调等情况。当今译界不少专家学者（例如法国的丹尼尔·吉尔，美国的朱得安·霍斯）认为，要想客观评价口译成果，必须借助口译过程评估。
2.3 质量评估的标准。在国外，对口译质量标准的探讨由来已久。近年来不少专家学者借助跨学科的相关论述拓展了研究的领域，探索出一些新的理论模式和评估办法。可惜大都带不同程度的片面性，不是忽视译员的主观努力与口译服务象对效果的反馈两者之间的相互关系，便是无视各种口译任务的不同要求。因此迄今为止，还没有一套完整系统的质量标准与评估方法足以提供令人信服的结果。
综合古今中外涉及口译质量评估的标准，大致可以归纳有以下几个基本指标：
（1）可信度：主要指译文信息转达完整、准确，忠实于原文内容；（2）可接受度：主要指译语表达层次分明、逻辑清晰、确切到位，遣词造句贴切，发音清楚，听众容易接受；（3）简明度：主要指发言人的风格、说话方式能在译语中准确反映，译语简洁明了；（4）多样性：主要指译员适应不同口音，明悉不同题材，了解不同专题的发言，并表达自如清晰的程度；（5）迅捷度：主要指译员能在很短的时间内应付难题，即时转达交流双方的信息，能综合发言人的思路，概述或简译原语发言；（6）技术性：主要指译员必须掌握的相关技巧，诸如职业举止、交流艺术、应急策略、洞悉跨文化差异、控制交际场面等，以及译员必须熟悉的有关设备的技术，如麦克风的运用、不同语言的声道的调节、耳机的应用等。
3.研究范围
本文用作数据分析的论文来自2000年至2015年国内出版的与翻译学研究相关的核心期刊。笔者对核心期刊目录进行逐条阅读，筛选出在8种期刊上口译质量实证性研究论文共计10篇，其中《中国翻译》1篇，《中国科技翻译》1篇，《上海翻译》1篇，《外语学刊》1篇，《外语与外语教学》1篇，《外语教学》1篇，《解放军外国语学院学报》3篇，《现代外语》1篇。
口译质量评估研究由于存在较多的困难，特别是实证性的研究，近年来，虽然中国的学者也开始关注实证研究，但囿于观念成见，亦涩于方法匾乏，进展相当艰辛缓慢。近15年来，国内口译质量评估实证性研究论文以2008年张威老师发表的3篇论文为高峰，以后逐年趋于平缓。
4.数据分析与讨论
4.1 数据分析
4.1.1 研究主题分类。在这11篇口译质量评估实证性论文中，研究主题是关于口译质量评估参数的有2篇，《评估口译忠实度的策略》《口译方向性对译语非流利产出的影响》；研究主题是关于口译使用者调查的是有5篇《从口译会场人员看口译质量的一项实证研究》《从口译用户看口译质量评估》《口译质量评估_以服务对象为依据_一项基于现场口译活动的调查研究报告》《科技口译质量评估_口译使用者视角》《会议口译质量评估调查_译员与使用者的对比分析》；研究主题是关于口译教学及评估的有3篇，《语块教学策略对提高学生会议口译准确性的实验研究》《录像评分_现场评分_一項关于口译教学评估模式的实证研究》《系统功能语法视域下的口译意义评估_一项面向学生口译表现的实证研究》。
4.1.2 研究方法分类。在这11篇口译质量评估实证性论文中，主要采用的研究方法分为来两种，一是以模拟测试为主的实验法，二是以问卷调查和访谈法为主的调查法。
从这方面也可以看出，虽然中国的学者也开始關注实证研究，但困于方法匾乏，进展相当艰辛缓慢。
4.2 讨论。在上一小节作者对搜集到的11篇口译质量评估实证性研究的文献进行了研究主题和研究方法的分类和归纳，接下来作者将深入分析每一篇研究文献，介绍它们的研究成果并探究其在处理上述困难时的优点与不足。
在本文分析的口译质量评估实证性研究文献中，最早的文章是张培蓓和任静生的《评估口译忠实度的策略》（2006：59-61.），该文章先论述了在口译质量评估参数中，忠实是最重要的参数之一，再以释意理论为依据，论证了口译质量评估以信息为单位的可靠性，最后为计算口译的忠实度提出测试公式，旨在探索出一种科学客观并行之有效的评估方法。 但是在该文章中，口译忠实度的测试公式只进行了一次测试实验，且受试者均为学生，测试地点也仅在实验室进行，因此，由于该实验样本过小，实验次数仅一次，实验结果还有待进一步论证。
在王湘玲老师（2008：59-62）的论文中，她们借助实证研究手段，对两组不同类型会议的口译使用者就口译质量的期望和态度，发言人、听众和译员对译员角色的看法进行调查，她的研究结果显示：专业性较强的会议中的口译使用者如以双语者为主体，比专业性质相对较弱的会议中以单语为主体的口译使用者对口译的完整性、流畅性和术语准确性等有更高期望和更严格要求，而对口译人员的角色定位，后者（单语使用者）则较为认可译员在口译工作中的主观能动性。
从这一结果，她为口译员提出建议，译员在完成不同的口译任务时，根据会议类型与会议特征调整口译策略，在语义准确和翻译流畅之间进行权衡，并积极主动地与发言人和听众进行沟通，从而提高口译质量，更好地完成口译任务。
作者充分考虑了分组时受试的差异性，保证了样本的有效性和可信度，讨论的层次和观点也是逻辑缜密，面面俱到的，也提出了非常实际的建议。
张威老师在2008-2011年发表了4篇口译用户对口译质量评估的实证性研究，深化了口译质量评估研究过程中的一个阶段性探索，他基本上通过对口译用户发放调查问卷和访谈的形式，收集了大量的实证性调查数据并分析发现，整体上，口译用户更重视口译的内容，而相对不太注重口译的形式要素；但在具体情况下，口译用户对口译质量因素的评价又存在着较大差异。主要体现在以下三个方面：（1）口译使用者的交际目的影响着对口译质量因素的评价。（2）口译使用者的不同知识背景决定着对口译质量因素的重视程度。（3）口译使用者的不同外语水平左右着对口译质量因素的态度。（4）使用者不同的口译使用经验影响着对口译质量因素的评价。
同时，他还在《会议口译质量评估调查——译员与使用者的对比分析》进行了现场口译中口译员与口译使用者对口译质量的期待的对比分析，为客观而系统地评价口译质量，进而规范口译服务市场，提供了重要的第一手实证数据。
当然，他的研究调查范围、调查对象性质与数量等方面也存在一定程度上的局限性，主要体现在，研究调查的对象主要是会议的口译使用者，调查方式主要为调查问卷和访谈，因此调查结论的普遍性尚不明确，仍需在更大范围内，更系统地开展多种实证性研究（调查、访谈、观察、实验等），以获取更大数量、更多样化的客观数据，从而有利于构建科学而系统的口译质量评估体系。
王建华老师发表的《语块教学策略对提高学生会议口译准确性的实验研究》（2012：47-51），将实验分为参照组和实验组。实验组前测实验、后测实验、参照组实验以及语块教学实验可以得出如下结论
该文章详细地阐明了实验和数据分析的具体操作过程。此外，作者还特意进行了重复实验来保证实验结果的实验效度和可行性，但由于选择的测试材料仅为会议的录音，不是真实的会议现场，排除了会议现场的环境因素及会议口译使用者的因素影响，使研究的效度有所削减。若作者能进一步检验该样本在真实场景下的结果，会令读者更加信服。
虽然笔者尽力设计一个科学、系统的口译教学评估模式对比研究，本次研究仍然存在不足之处。比如：假定评分人个体标准一致，评分信度高；对评分人之间的评分差异没有进行更进一步的研究；受制于各种因素，本次研究样本较小，结论不一定具有普遍性；由于本次模拟会议只涉及单向的英汉口译，因此对学生的汉英翻译评估是否会存在相同的差异未能进行研究；欧阳倩华老师（2015：120-129）从理论和实证的角度探索了如何以功能语言学为框架评估口译中的意义传递，并证实了该模型的适用性。
4.2.1特點
通过以上对口译质量评估实证性研究的文献进行回顾后，不难发现：
1）注重与口译教学互动：此次考察的10篇实验性研究论文的研究目标多是为解决口译教学中的实际操作问题；实验的受试多选择了口译学生，实验环境多是口译课堂。这也验证了王斌华（2008：105）所说的口译研究的一些理论成果和模式能为教学提供指导，口译教学也能为口译研究提供实证场景和学术环境，两者确实可以形成良性互动。
2）注重与口译使用者的互动，如张威老师的研究，口译作为服务产品亦要严格遵守市场规律，秉承顾客至上的原则。也就是说，要使口译服务职业化，就得以服务对象的要求和期待作为重要的评估参数，不断提高口译的服务质量。
3）实验操作趋于科学化：在试验次数方面也不再满足于经过一次实验就下结论，而是在主实验过后再以佐证实验避免实验结果的偶然性；在试验设计方面，越来越注重测量工具本身的效度，实验操作越来越规范，定位越来越精细，实验方法越来越多样。
4.2.2 存在的问题
1）实验性研究数量过少：在15年来，关于口译质量评估的实证性研究论文，仅有10篇采。自2001年首篇该类论文发表算起，年均只有1篇。作为实证研究的重要手段之一，实验性研究的欠缺说明口译实证研究目前仍处于初级阶段，还需要研究者们的大量投入与付出。
2）实验设计欠完善：国内学者虽然在受试选择和避免实验偶发性等方面做出了努力，但对于口译质量评估标准以及口译材料应保持口译现场真实感方面的问题还是缺乏有效的控制。建议今后的研究要针对口译考察的变量和受试的特点，慎重选择评估标准和口译测试材料。
3）实验研究对象单一：口译研究往往需要专业译员的参与，而国内的专业译员要么是自由职业者，要么是政府部门、公司或学校职员。前者有时间却惯于无拘无束的生活，大多不愿参与实验，而后者因为工作繁忙，常常抽不出时间。而且，统计学对受试样本规模的最低要求是每组30人每组（张威2008b：429）。在这种情况下，研究者们将目光投向了在校学生。但是，由于学生的语言能力参差不齐，与专业译员的水平差距较大，从而大大降低了实验的信度。比如，为比较对照组与实验组的语言能力水平，有研究者仅用两组学生之前的英语考试成绩平均值作为参数，这种做法的效度值得质疑。
5.总结
从出版的成果分析，口译质量评估研究的进程似乎以思辩性，规约性，或纯理论性的研究开始，进而转向实证性研究。后一点尤以西方为显著，其研究涉及范围非常广，既有针对使用者对口译质量的期望，也有针对译员工作的评估，幾乎覆盖了口译质量评估的方方面面。近年来，中国的学者也开始关注实证研究，但囿于观念成见，亦涩于方法匾乏，进展相当艰辛缓慢。此次的文献统计，由于样本的基数太小，鉴于这些局限性，本次统计虽在一定程度上反映出近年来口译质量评估实证性研究的特点和发展趋势，但还有必要在更大范围内，对不同形式的口译，作进一步的统计工作，进行更深入的分析，以期更全面、更客观、更系统地描述口译质量评估实证性研究的现状。
参考文献：
[1]鲍刚，口译理论概述[M].旅游教育出版社，1998.
[2]蔡小红.口译评估[M].北京：中国对外翻译出版公司，2007.
[3]李游子.口译学习指标和测试评估[J].外语研究，2007.（2）：69-70.
【关键词】口译质量评估实证性研究 文献计量研究 特点 问题
【中图分类号】H319 【文献标识码】A 【文章编号】2095-3089（2017）01-0249-02
1.引言
口译的质量评估一直是困扰译界的一大难题。随着我国对外交流的迅猛发展，口译活动日益职业化。自从改革开放以来，中外的交流日趋频繁，也带动了国内口译活动及其研究的蓬勃发展。人们对口译实践、培训质量的科学界定与客观评估的要求越来越迫切。现在我们经常可以在一些学术性翻译杂志上看到口译研究的文章。但是却很少看到关于口译质量评估的文章。即便国内有关这方面的研究已开始于八十年代初期，然而大都只是基于译员的经验而进行的一些对个人口译实践的反思。应当说中国译界是从八十年代末九十年代初开始关注翻译质量评估的研究的。
2.口译质量评估的定义
2.1 口译质量评估。一般指对口译活动质量高低、优劣的衡量。然而构成翻译质量的成分很复杂，既指译语产出、传输的质量，也包括现场的公众反映及由此达成的交际效果。且不同的评估目的、评估模式还会改变评估的成分比例，使“翻译质量”或专指译员的翻译能力，或倾向公众对服务的反馈，或两者兼备。
2.2 质量评估的种类。口译质量评估有成果评估与过程评估两大类型。口译成果评估包括质量评定与效果测量，前者仅指译员的译语质量，后者为口译服务对象对口译效果的客观反馈。口译过程评估主要是对译员在工作中，心理语言运用、心理因素影响、认知知识活动的了解，例如译员掌握职业技能、运用技能、发展技能、认知负荷协调等情况。当今译界不少专家学者（例如法国的丹尼尔·吉尔，美国的朱得安·霍斯）认为，要想客观评价口译成果，必须借助口译过程评估。
2.3 质量评估的标准。在国外，对口译质量标准的探讨由来已久。近年来不少专家学者借助跨学科的相关论述拓展了研究的领域，探索出一些新的理论模式和评估办法。可惜大都带不同程度的片面性，不是忽视译员的主观努力与口译服务象对效果的反馈两者之间的相互关系，便是无视各种口译任务的不同要求。因此迄今为止，还没有一套完整系统的质量标准与评估方法足以提供令人信服的结果。
综合古今中外涉及口译质量评估的标准，大致可以归纳有以下几个基本指标：
（1）可信度：主要指译文信息转达完整、准确，忠实于原文内容；（2）可接受度：主要指译语表达层次分明、逻辑清晰、确切到位，遣词造句贴切，发音清楚，听众容易接受；（3）简明度：主要指发言人的风格、说话方式能在译语中准确反映，译语简洁明了；（4）多样性：主要指译员适应不同口音，明悉不同题材，了解不同专题的发言，并表达自如清晰的程度；（5）迅捷度：主要指译员能在很短的时间内应付难题，即时转达交流双方的信息，能综合发言人的思路，概述或简译原语发言；（6）技术性：主要指译员必须掌握的相关技巧，诸如职业举止、交流艺术、应急策略、洞悉跨文化差异、控制交际场面等，以及译员必须熟悉的有关设备的技术，如麦克风的运用、不同语言的声道的调节、耳机的应用等。
3.研究范围
本文用作数据分析的论文来自2000年至2015年国内出版的与翻译学研究相关的核心期刊。笔者对核心期刊目录进行逐条阅读，筛选出在8种期刊上口译质量实证性研究论文共计10篇，其中《中国翻译》1篇，《中国科技翻译》1篇，《上海翻译》1篇，《外语学刊》1篇，《外语与外语教学》1篇，《外语教学》1篇，《解放军外国语学院学报》3篇，《现代外语》1篇。
口译质量评估研究由于存在较多的困难，特别是实证性的研究，近年来，虽然中国的学者也开始关注实证研究，但囿于观念成见，亦涩于方法匾乏，进展相当艰辛缓慢。近15年来，国内口译质量评估实证性研究论文以2008年张威老师发表的3篇论文为高峰，以后逐年趋于平缓。
4.数据分析与讨论
4.1 数据分析
4.1.1 研究主题分类。在这11篇口译质量评估实证性论文中，研究主题是关于口译质量评估参数的有2篇，《评估口译忠实度的策略》《口译方向性对译语非流利产出的影响》；研究主题是关于口译使用者调查的是有5篇《从口译会场人员看口译质量的一项实证研究》《从口译用户看口译质量评估》《口译质量评估_以服务对象为依据_一项基于现场口译活动的调查研究报告》《科技口译质量评估_口译使用者视角》《会议口译质量评估调查_译员与使用者的对比分析》；研究主题是关于口译教学及评估的有3篇，《语块教学策略对提高学生会议口译准确性的实验研究》《录像评分_现场评分_一項关于口译教学评估模式的实证研究》《系统功能语法视域下的口译意义评估_一项面向学生口译表现的实证研究》。
4.1.2 研究方法分类。在这11篇口译质量评估实证性论文中，主要采用的研究方法分为来两种，一是以模拟测试为主的实验法，二是以问卷调查和访谈法为主的调查法。
从这方面也可以看出，虽然中国的学者也开始關注实证研究，但困于方法匾乏，进展相当艰辛缓慢。
4.2 讨论。在上一小节作者对搜集到的11篇口译质量评估实证性研究的文献进行了研究主题和研究方法的分类和归纳，接下来作者将深入分析每一篇研究文献，介绍它们的研究成果并探究其在处理上述困难时的优点与不足。
在本文分析的口译质量评估实证性研究文献中，最早的文章是张培蓓和任静生的《评估口译忠实度的策略》（2006：59-61.），该文章先论述了在口译质量评估参数中，忠实是最重要的参数之一，再以释意理论为依据，论证了口译质量评估以信息为单位的可靠性，最后为计算口译的忠实度提出测试公式，旨在探索出一种科学客观并行之有效的评估方法。 但是在该文章中，口译忠实度的测试公式只进行了一次测试实验，且受试者均为学生，测试地点也仅在实验室进行，因此，由于该实验样本过小，实验次数仅一次，实验结果还有待进一步论证。
在王湘玲老师（2008：59-62）的论文中，她们借助实证研究手段，对两组不同类型会议的口译使用者就口译质量的期望和态度，发言人、听众和译员对译员角色的看法进行调查，她的研究结果显示：专业性较强的会议中的口译使用者如以双语者为主体，比专业性质相对较弱的会议中以单语为主体的口译使用者对口译的完整性、流畅性和术语准确性等有更高期望和更严格要求，而对口译人员的角色定位，后者（单语使用者）则较为认可译员在口译工作中的主观能动性。
从这一结果，她为口译员提出建议，译员在完成不同的口译任务时，根据会议类型与会议特征调整口译策略，在语义准确和翻译流畅之间进行权衡，并积极主动地与发言人和听众进行沟通，从而提高口译质量，更好地完成口译任务。
作者充分考虑了分组时受试的差异性，保证了样本的有效性和可信度，讨论的层次和观点也是逻辑缜密，面面俱到的，也提出了非常实际的建议。
张威老师在2008-2011年发表了4篇口译用户对口译质量评估的实证性研究，深化了口译质量评估研究过程中的一个阶段性探索，他基本上通过对口译用户发放调查问卷和访谈的形式，收集了大量的实证性调查数据并分析发现，整体上，口译用户更重视口译的内容，而相对不太注重口译的形式要素；但在具体情况下，口译用户对口译质量因素的评价又存在着较大差异。主要体现在以下三个方面：（1）口译使用者的交际目的影响着对口译质量因素的评价。（2）口译使用者的不同知识背景决定着对口译质量因素的重视程度。（3）口译使用者的不同外语水平左右着对口译质量因素的态度。（4）使用者不同的口译使用经验影响着对口译质量因素的评价。
同时，他还在《会议口译质量评估调查——译员与使用者的对比分析》进行了现场口译中口译员与口译使用者对口译质量的期待的对比分析，为客观而系统地评价口译质量，进而规范口译服务市场，提供了重要的第一手实证数据。
当然，他的研究调查范围、调查对象性质与数量等方面也存在一定程度上的局限性，主要体现在，研究调查的对象主要是会议的口译使用者，调查方式主要为调查问卷和访谈，因此调查结论的普遍性尚不明确，仍需在更大范围内，更系统地开展多种实证性研究（调查、访谈、观察、实验等），以获取更大数量、更多样化的客观数据，从而有利于构建科学而系统的口译质量评估体系。
王建华老师发表的《语块教学策略对提高学生会议口译准确性的实验研究》（2012：47-51），将实验分为参照组和实验组。实验组前测实验、后测实验、参照组实验以及语块教学实验可以得出如下结论
该文章详细地阐明了实验和数据分析的具体操作过程。此外，作者还特意进行了重复实验来保证实验结果的实验效度和可行性，但由于选择的测试材料仅为会议的录音，不是真实的会议现场，排除了会议现场的环境因素及会议口译使用者的因素影响，使研究的效度有所削减。若作者能进一步检验该样本在真实场景下的结果，会令读者更加信服。
虽然笔者尽力设计一个科学、系统的口译教学评估模式对比研究，本次研究仍然存在不足之处。比如：假定评分人个体标准一致，评分信度高；对评分人之间的评分差异没有进行更进一步的研究；受制于各种因素，本次研究样本较小，结论不一定具有普遍性；由于本次模拟会议只涉及单向的英汉口译，因此对学生的汉英翻译评估是否会存在相同的差异未能进行研究；欧阳倩华老师（2015：120-129）从理论和实证的角度探索了如何以功能语言学为框架评估口译中的意义传递，并证实了该模型的适用性。
4.2.1特點
通过以上对口译质量评估实证性研究的文献进行回顾后，不难发现：
1）注重与口译教学互动：此次考察的10篇实验性研究论文的研究目标多是为解决口译教学中的实际操作问题；实验的受试多选择了口译学生，实验环境多是口译课堂。这也验证了王斌华（2008：105）所说的口译研究的一些理论成果和模式能为教学提供指导，口译教学也能为口译研究提供实证场景和学术环境，两者确实可以形成良性互动。
2）注重与口译使用者的互动，如张威老师的研究，口译作为服务产品亦要严格遵守市场规律，秉承顾客至上的原则。也就是说，要使口译服务职业化，就得以服务对象的要求和期待作为重要的评估参数，不断提高口译的服务质量。
3）实验操作趋于科学化：在试验次数方面也不再满足于经过一次实验就下结论，而是在主实验过后再以佐证实验避免实验结果的偶然性；在试验设计方面，越来越注重测量工具本身的效度，实验操作越来越规范，定位越来越精细，实验方法越来越多样。
4.2.2 存在的问题
1）实验性研究数量过少：在15年来，关于口译质量评估的实证性研究论文，仅有10篇采。自2001年首篇该类论文发表算起，年均只有1篇。作为实证研究的重要手段之一，实验性研究的欠缺说明口译实证研究目前仍处于初级阶段，还需要研究者们的大量投入与付出。
2）实验设计欠完善：国内学者虽然在受试选择和避免实验偶发性等方面做出了努力，但对于口译质量评估标准以及口译材料应保持口译现场真实感方面的问题还是缺乏有效的控制。建议今后的研究要针对口译考察的变量和受试的特点，慎重选择评估标准和口译测试材料。
3）实验研究对象单一：口译研究往往需要专业译员的参与，而国内的专业译员要么是自由职业者，要么是政府部门、公司或学校职员。前者有时间却惯于无拘无束的生活，大多不愿参与实验，而后者因为工作繁忙，常常抽不出时间。而且，统计学对受试样本规模的最低要求是每组30人每组（张威2008b：429）。在这种情况下，研究者们将目光投向了在校学生。但是，由于学生的语言能力参差不齐，与专业译员的水平差距较大，从而大大降低了实验的信度。比如，为比较对照组与实验组的语言能力水平，有研究者仅用两组学生之前的英语考试成绩平均值作为参数，这种做法的效度值得质疑。
5.总结
从出版的成果分析，口译质量评估研究的进程似乎以思辩性，规约性，或纯理论性的研究开始，进而转向实证性研究。后一点尤以西方为显著，其研究涉及范围非常广，既有针对使用者对口译质量的期望，也有针对译员工作的评估，幾乎覆盖了口译质量评估的方方面面。近年来，中国的学者也开始关注实证研究，但囿于观念成见，亦涩于方法匾乏，进展相当艰辛缓慢。此次的文献统计，由于样本的基数太小，鉴于这些局限性，本次统计虽在一定程度上反映出近年来口译质量评估实证性研究的特点和发展趋势，但还有必要在更大范围内，对不同形式的口译，作进一步的统计工作，进行更深入的分析，以期更全面、更客观、更系统地描述口译质量评估实证性研究的现状。
参考文献：
[1]鲍刚，口译理论概述[M].旅游教育出版社，1998.
[2]蔡小红.口译评估[M].北京：中国对外翻译出版公司，2007.
[3]李游子.口译学习指标和测试评估[J].外语研究，2007.（2）：69-70.