目前国内外在教师资格认定过程中都比较重视对申请人的教育教学能力进行测试。教育教学能力测试的评分主要采用多个评分员对考生的表现进行打分。这种评分主观性较强，可能导致评分出现较大误差，直接影响到教育教学能力测试的公平性。以往的研究很少对影响教育教学能力测试评分的因素进行深入的量化分析。本研究以概化理论和IRT中的多面Rasch模型为工具对某市教育教学能力测试的一批实测结果进行了分析，旨在对此项测试评分质量进行评估，分析其影响因素及其作用机制，为完善测试设计和评分培训提供依据。研究结果表明：（1）两种分析工具对测试质量分析各有侧重点，具有较好的互补性，实际应用中在满足测量条件情况下可联合使用，或根据分析重点选择其一；（2）本次教育教学能力测试的可靠性程度尚有改进的空间，测试适用于相对决策，在做绝对决策时需谨慎；（3）影响当前测试结果的主要原因是评分员宽严程度不一和任务跨考生的不一致性；（4）通过增加评分员人数可以提高教育教学能力测试的精度，但增幅递减，当评分员人数为5时，结果已经能够较好满足测试要求；（5）建议加强评分员评分的培训和指导，尤其注意对面试打分的针对性指导。长远考虑可建立专门的评分员队伍，尝试建立“评分员库”。