论文部分内容阅读
［摘要］文章论述了学生评教量表制订的原则、程序和方法，并结合实际，进行了量表信度与效度测试，得到了一套比较科学可行的、符合特定校情的学生评教量表。
［关键词］学生评教量表 教育评估
［作者简介］陈德良（1971- ），男，江苏如皋人，南京师范大学教务处，副研究员，硕士，研究方向为高等教育评估。（江苏 南京 210046）周萍（1971- ），女，江苏泰兴人，南京医科大学药学院讲师，硕士，研究方向为基础化学。（江苏 南京 210029）
［中图分类号］G647［文献标识码］A［文章编号］1004-3985（2009）12-0040-03
量表是学生评教的测量工具，其制订过程实质上就是标准的制定过程，科学、合理的量表是保证学生评教质量的前提条件和基础。本文从量表的影响因素、构建方法和质量分析等方面进行论述，旨在为学校教育评估提供参考。
一、量表的影响因素
（一）内容方面
学生评教量表必须遵循科学性、可测性、导向性、完备性的原则，既要体现国家的办学方针和社会需要，也要符合教学规律；既要全面反映教学要求，又要简易可行。
1.科学性原则。它有三层含义：一是指标与目标的一致性。它要求制定指标时认真分析教育目标的实质和结构，找出主要原因，以便准确地反映目标要求。二是同一体系内各指标的相容性。各指标要协调一致，从不同侧面反映目标要求，不应相互矛盾和冲突。三是各指标的相对独立性。同一体系各指标不能重复，除非特别安排，不应出现等价指标。
2.可测性原则。可测性是教育评价与测量学赖以存在和发展的基石，并非所有的指标都是可测的。众多研究指出，学生对教师教学的某些方面能做出较可靠的判断，在某些方面却是无能为力的。IDEA中心研究表明：学生在评价“自己的学习”“教师的教学技能”等方面有较高效度，但是要评价诸如“教师的教学目标、授课内容的适合性和先进性”“评分的宽严程度”等，则能力不足。在评教量表中应去除从学生角度难以测量或根本不可测的指标。
3.导向性原则。关于学生评教评什么，笔者已做过论述。概括地说，学生评的是教师的课堂教学质量①，它是一个动态概念，不同历史时期，不同政治、经济、文化背景所要求的课堂教学质量标准不同。评教量表除基本要求外，应站在较高的层次，引导教师更新教育思想，转变教育观念，进行教学改革，提高教学质量。
4.完备性原则。评教量表要反映整体性要求，不能遗漏重要指标。只有这样才能准确地反映总体目标。应当指出，完备性原则并不排斥简洁性和突出重点。
5.可行性原则。一是要求指标涉及的信息易于获取；二是指标体系应简单明了。教育现象的复杂性决定了量表的多因素、多层次结构，指标过少不能恰如其分地反映全貌，而数量太多则冗长繁杂。因此设计指标应力求抓住重点，反映事物本质，选取有代表性、说服力的指标，突出主导因素，提高概括性。
（二）形式方面
1.等级评定量表。它有严密、统一的指标体系，要求学生按照一定的标准，对教师在各项指标上的表现进行评判，再经过统计处理，给教师一个综合得分或等级。它的优点是标准统一，便于量化处理并得出综合结论，测量过程的随机误差较小，信度较高。但是，它缺少灵活性和针对性，较难反映教师的特点和社会的多样化需求，对教师改进教学的作用不明显，效度相对较低。因此，它比较适合于总结性评价，可以为行政管理中的人事决策提供比较直观的依据。
2.概括性问题。它主要针对教师、学生、教学管理者所关心的事情，将其用比较抽象、概括性强的问题表现出来，如“你对该教师的课堂教学有何意见、建议”“通过该课程学习，你在哪些方面取得了进步”等。学生自由作答，如实反映。概括性问题强调对教师的整体认知，形式灵活，针对性强，效度较高。但是，它不易于进行定量处理，很难获得综合性结论。由于学生的个人见解与价值观的不同，评价结果差异较大，信度相对较低。
3.调查式量表。调查式量表是将指标分解成一个可以直接判断、看得见、摸得着的观测点，将人们期望或者不期望的教师教学行为、教学效果用简单句陈述出来，要求学生判断这些陈述与真实情况的符合程度。如要求学生对“是否有迟到或随意缺课情况”这个表述做出“不是”“偶尔”“经常”三种不同程度的判断，来评价教师的教学态度。事实上，只有具体的、外显的行为目标才是可测量的。②调查式量表介于等级评定量表与概括性问题之间，兼有二者的某些特点。它没有等级评定量表标准的抽象性，也没有概括性问题的笼统性、自由松散性，它可以通过统计处理获得综合性结论，同时指出教师教学中存在的具体问题。但是，在实践中，学生难以对教师教学质量标准形成整体、全面的认知，可能会纠缠于一些细枝末节。但国内外实践表明，这类量表在学生评教中具有许多明显的优点，符合以评促教、以评促改的学生评教目的，因而被不少高校所采用。
二、量表的构建方法
一是依照专业委员会制定的标准进行构建。这种标准往往过于细致，带有行业性质，可比性差，不适用于全校范围的学生评教。而且这种量表的视阈和出发点往往过多集中于教学行政管理部门。二是建立专家经验标准，用管理科学中的特尔菲法确定指标。这种方法比较贴近学校实际，与学校的层次、定位以及培养目标相一致。同时，它也比较符合学术自由原则。学术自由指向于高校教师的质量认知与价值取向，在此基点下的学生评教被认为是学校内部的学术事务，应以教师为中心，围绕教师的教学需要进行学生评教。因此，专家的经验标准往往不考虑教学对象和社会的意见，因此受到诟病。三是应用文献法、调查法等初步建立标准，然后师生共同参与量表研制，进行量表的信度与效度检验并适时进行调整。这种方法比较符合当前流行的建构主义教学观。建构主义认为：“教学双方是一个不断建构的过程”“学习不是被动地接受信息刺激，而是主动地建构意义。”③教学双方都可以通过同化与顺应这两种认知结构变化途径，达到认知水平的不断提高。学生评教的目的是通过教与学双方的交流沟通提高教学质量，符合建构主义教学观的理论基础。目前多数学者认为，这种方法更能保证学生评教目标的实现，并在实践中受到越来越多的重视。
三、量表制订的实践
依据上述理论和方法，南京师范大学进行了量表制订和质量评价实践。
（一）量表制订
根据前人研究的理论和多年的实践，教师的教学质量可以分解为教学内容、教学方法、教学态度、教学效果这四个基元，④由这四个相关因素群组成的指标体系可对教师的教学质量进行判断。但是考虑到学校师范传统的特殊性，教师的教学行为必须符合师范性的特殊要求。基于此，我们增加了“教书育人”基元，以考察教师在教学中是否以师范大学教师的标准来要求自己。我们又在量表的最后增加了“总体印象”基元，因为“高等教育质量标准可能是潜在的、暗含的、不明确的”“高等教育质量标准具有模糊性的特点”。⑤基于模糊判断理论，教学质量无法以精确的数量来量化，所有的价值判断都是基于评估主体评估时的心理知觉。另外，在模糊判断的外围再加一层模糊判断，依据里层与外层之间的相关性，可以验证学生评教数据的可靠性。
在确定了六项评估基元以后，我们又广泛收集国内外研究成果，初步拟定了每个基元的细化指标群，也就是二级指标。面向学校师生采取座谈、问卷调查等形式，广泛征求意见，确定了30个二级指标，供专家决策。然后，运用特尔菲法预测模型来确定各基元的权重。我们在学校教学委员会中聘请了23位教学专家担任预测专家，他们都具有高级以上职称，其中教授14位，且都长期从事教学管理和教学研究。为了充分考虑各学科的特殊性，原则上保证每学科有一位教学专家。
我们首先向专家详细阐述了量表产生的背景、目的、意义及特尔菲法的程序、作用，然后按以下程序进行了操作。（1）制订与分发第一轮量表，让专家填写各指标的权重。由专家“背对背”填写，即专家互不见面、互不讨论，完全按自己的意见做出决定。（2）第一轮问卷回收后，计算结果。包括：平均数、中位数、四分位数、标准差、众数等描述性统计量。（3）将第一轮量表的统计总结附在第二轮量表上寄给专家，同时附上各个专家自己的第一轮回答。询问每个专家在看完小组的平均结果后是否希望改变自己的预测。假如专家的预测值在两个中间四分位数范围之外，而专家又不改变自己原来的预测，要请他给出理由。（4）回收第二轮量表并整理结果。包括新预测结果及部分专家不同意第一轮问卷结果的意见。（5）将第二轮量表的结果与意见综合进第三轮，说明与第二轮相似。但加上了部分专家不同意预测结果的意见。（6）第三轮问卷的结果出来以后，绝大多数预测已经在中位数附近。
特尔菲法定权也是在以上过程中完成的，它是客观地综合多数专家的经验与主观判断，不需要专家填写判断矩阵，只要专家们根据前一轮所得出的均值和离散度来修正自己对权重的意见，从而使均值逐次接近最后的结果。经过三轮意见征询，保留了六个基元，去掉了11个二级指标，形成了含有19个二级指标的评价量表。
（二）量表质量评价
1.信度分析。信度指测量的一致性程度，表现为同一测验在不同时间上所得结果的一致性。⑥信度包括内在信度和外在信度，外在信度中最常用的估计方法是重测信度或再测信度，内在信度的常用估计方法是内在一致性信度。
再测信度是指同一个测验对同一组被试两次或多次所得结果的一致性程度，用在学生评教量表上，就是指同一组学生用同一评价量表对同一教师的教学质量进行两次测量的一致性程度。在实际操作中，两次对同一位教师进行评价可能引起学生的反感；第一次作答会在记忆和心理等方面影响第二次作答；两次作答时的主客观状态都可能引起学生评教的误差。加之测量组织的困难，量表再测的难度较大。为了解决这一矛盾，我们抽取了新量表实施前3个学期和后3个学期的学生评教数据进行分析，统计软件为SPSS11.5。
我们用最近一次的评估结果作为参照，把抽样的6个学期作为新变量，用单样本T检验验证新数据是否与以往数据有显著性差异。结果显示，在自由度基本接近的情况下，单样本t检验明显分成了两个时间段。新量表实施以来的各学期与实施之前的各学期相比，之前的三个学期P值都是0.000，表明在95％的置信度下，可以判断之前的评估得分与之后的评估得分存在显著差异，说明评估量表更改前后的效果明显不同。修订后的量表表现出了较好的再测信度，新量表实施之后得分的P值都远大于0.05，没有显著性差异。根据常识，学校的整体教学水平在短时间内不会有明显变化，说明新量表具有良好的再测信度。
再用前3个学期中的第一个对照学期的评教数据作为参照，计算老量表的差异性。经单因素t检验，结果显示，在自由度相当的情况下，在99%的置信区间内，有两个学期的得分存在明显差异，说明老量表各学期变化较大，表现出较大的随机性，不稳定，信度不高。
内在信度是指量表变量间的一致性程度，即一组问题（或整个量表）是否测量的是同一个概念。我们从实施新量表后4个学期的学生评教数据中，由计算机随机抽取了540个数据，用克隆巴赫（注意：此处有字母）系数来衡量内在一致性信度高低。结果显示（注意：此次有字母）系数达到0.9783。一般来说，信度系数在0.8以上就可以认为相应量表信度较高，表明19个变量之间结构相似，结果的一致性程度高。
2.效度分析。效度是衡量量表质量的另一个重要指标，亦称“测验的有效性”，指某一测验所能提供的对某一特质测量的理想程度，也就是测验在多大程度上测量了所要测的内容。⑦我们用量表的结构效度来评价量表优劣，结构效度可以采用因子分析法求得。因子分析是一种将多变量化简的技术，它可以看做主成分分析的推广，主要目的是分解原始变量，从中归纳出潜在的“类别”。相关性较强的指标归为一类，不同类变量的相关性则较低。每一类变量代表了一个“公共因子”，即一种内在结构，因子分析就是要寻找该结构。
利用前面提到的学生评教数据，我们把19个变量作为分散的变量放入因子分析过程，找出了5个公因子。在进行因子分析前，先进行了KMO和Bartlett球形检验，结果KMO非常高，达到了0.960。Bartlett球形检验的结果P＝0.000，差异非常显著，说明19个变量之间高度相关，可以用因子分析简化数据归纳出主要因子。旋转方法采用方差最大化，以便使变量集中，形成理想的公因子。
从统计结果看，提取两个公因子的方差解释度只有50.566％，也就是说会丢失掉一半的信息量，这样提取的结果很不理想。而提取5个公因子后方差贡献率达到了91.467％，仅仅丢失不到10％的信息，在统计学中是可以容忍的。
考察所有二级指标的设置是否能够很好地反映一级指标的内涵，这需要判断各个变量对公因子的因子载荷。对因子旋转后的负荷矩阵进行整理，发现一级指标之间的分界非常明显。“教学内容”五个二级指标以及“教学效果”四个二级指标设计合理，因子载荷显示其所属变量非常集中，归为一类。“教学方法”四个二级指标被分成两个层次，“教学手段运用是否适当”和“教学方法多样灵活”指向教师本身，而“鼓励思考”和“鼓励创新”两个变量则针对于学生，与前两个变量不同层面。“教学态度”的两个变量集中在一起，最后一个变量“是否与学生进行交流”从字面上解释明显与前两个变量“认真备课”和“不缺课”分道扬镳。表面上看，这个变量与教师育人情况更靠近，但我们采用的是引申含义，即教师是否以平等、民主的态度授课，这可能与学生的理解出现偏差。“教书育人”的三个二级指标也相对集中，但是也被纳入“教学效果”公因子里，而且因子负荷普遍较高，说明这两个指标的区分度不高，其内涵有待于进一步斟酌。
［注释］
①陈德良，周春林.学生评教透视［J］.江苏高教，2006（2）：68.
②⑤安心.高等教育质量保证体系研究［M］.兰州：甘肃教育出版社，1999：81，81.
③谭顶良.高等教育心理学［M］.南京：河海大学出版社，2006：43.
④陈国海.我国高校“学生评教”研究综述［J］.高等教育研究学报，2001（3）：31.
⑥⑦顾明远.教育大辞典（简编本）［M］.上海：上海教育出版社，1999：519，510.
［关键词］学生评教量表 教育评估
［作者简介］陈德良（1971- ），男，江苏如皋人，南京师范大学教务处，副研究员，硕士，研究方向为高等教育评估。（江苏 南京 210046）周萍（1971- ），女，江苏泰兴人，南京医科大学药学院讲师，硕士，研究方向为基础化学。（江苏 南京 210029）
［中图分类号］G647［文献标识码］A［文章编号］1004-3985（2009）12-0040-03
量表是学生评教的测量工具，其制订过程实质上就是标准的制定过程，科学、合理的量表是保证学生评教质量的前提条件和基础。本文从量表的影响因素、构建方法和质量分析等方面进行论述，旨在为学校教育评估提供参考。
一、量表的影响因素
（一）内容方面
学生评教量表必须遵循科学性、可测性、导向性、完备性的原则，既要体现国家的办学方针和社会需要，也要符合教学规律；既要全面反映教学要求，又要简易可行。
1.科学性原则。它有三层含义：一是指标与目标的一致性。它要求制定指标时认真分析教育目标的实质和结构，找出主要原因，以便准确地反映目标要求。二是同一体系内各指标的相容性。各指标要协调一致，从不同侧面反映目标要求，不应相互矛盾和冲突。三是各指标的相对独立性。同一体系各指标不能重复，除非特别安排，不应出现等价指标。
2.可测性原则。可测性是教育评价与测量学赖以存在和发展的基石，并非所有的指标都是可测的。众多研究指出，学生对教师教学的某些方面能做出较可靠的判断，在某些方面却是无能为力的。IDEA中心研究表明：学生在评价“自己的学习”“教师的教学技能”等方面有较高效度，但是要评价诸如“教师的教学目标、授课内容的适合性和先进性”“评分的宽严程度”等，则能力不足。在评教量表中应去除从学生角度难以测量或根本不可测的指标。
3.导向性原则。关于学生评教评什么，笔者已做过论述。概括地说，学生评的是教师的课堂教学质量①，它是一个动态概念，不同历史时期，不同政治、经济、文化背景所要求的课堂教学质量标准不同。评教量表除基本要求外，应站在较高的层次，引导教师更新教育思想，转变教育观念，进行教学改革，提高教学质量。
4.完备性原则。评教量表要反映整体性要求，不能遗漏重要指标。只有这样才能准确地反映总体目标。应当指出，完备性原则并不排斥简洁性和突出重点。
5.可行性原则。一是要求指标涉及的信息易于获取；二是指标体系应简单明了。教育现象的复杂性决定了量表的多因素、多层次结构，指标过少不能恰如其分地反映全貌，而数量太多则冗长繁杂。因此设计指标应力求抓住重点，反映事物本质，选取有代表性、说服力的指标，突出主导因素，提高概括性。
（二）形式方面
1.等级评定量表。它有严密、统一的指标体系，要求学生按照一定的标准，对教师在各项指标上的表现进行评判，再经过统计处理，给教师一个综合得分或等级。它的优点是标准统一，便于量化处理并得出综合结论，测量过程的随机误差较小，信度较高。但是，它缺少灵活性和针对性，较难反映教师的特点和社会的多样化需求，对教师改进教学的作用不明显，效度相对较低。因此，它比较适合于总结性评价，可以为行政管理中的人事决策提供比较直观的依据。
2.概括性问题。它主要针对教师、学生、教学管理者所关心的事情，将其用比较抽象、概括性强的问题表现出来，如“你对该教师的课堂教学有何意见、建议”“通过该课程学习，你在哪些方面取得了进步”等。学生自由作答，如实反映。概括性问题强调对教师的整体认知，形式灵活，针对性强，效度较高。但是，它不易于进行定量处理，很难获得综合性结论。由于学生的个人见解与价值观的不同，评价结果差异较大，信度相对较低。
3.调查式量表。调查式量表是将指标分解成一个可以直接判断、看得见、摸得着的观测点，将人们期望或者不期望的教师教学行为、教学效果用简单句陈述出来，要求学生判断这些陈述与真实情况的符合程度。如要求学生对“是否有迟到或随意缺课情况”这个表述做出“不是”“偶尔”“经常”三种不同程度的判断，来评价教师的教学态度。事实上，只有具体的、外显的行为目标才是可测量的。②调查式量表介于等级评定量表与概括性问题之间，兼有二者的某些特点。它没有等级评定量表标准的抽象性，也没有概括性问题的笼统性、自由松散性，它可以通过统计处理获得综合性结论，同时指出教师教学中存在的具体问题。但是，在实践中，学生难以对教师教学质量标准形成整体、全面的认知，可能会纠缠于一些细枝末节。但国内外实践表明，这类量表在学生评教中具有许多明显的优点，符合以评促教、以评促改的学生评教目的，因而被不少高校所采用。
二、量表的构建方法
一是依照专业委员会制定的标准进行构建。这种标准往往过于细致，带有行业性质，可比性差，不适用于全校范围的学生评教。而且这种量表的视阈和出发点往往过多集中于教学行政管理部门。二是建立专家经验标准，用管理科学中的特尔菲法确定指标。这种方法比较贴近学校实际，与学校的层次、定位以及培养目标相一致。同时，它也比较符合学术自由原则。学术自由指向于高校教师的质量认知与价值取向，在此基点下的学生评教被认为是学校内部的学术事务，应以教师为中心，围绕教师的教学需要进行学生评教。因此，专家的经验标准往往不考虑教学对象和社会的意见，因此受到诟病。三是应用文献法、调查法等初步建立标准，然后师生共同参与量表研制，进行量表的信度与效度检验并适时进行调整。这种方法比较符合当前流行的建构主义教学观。建构主义认为：“教学双方是一个不断建构的过程”“学习不是被动地接受信息刺激，而是主动地建构意义。”③教学双方都可以通过同化与顺应这两种认知结构变化途径，达到认知水平的不断提高。学生评教的目的是通过教与学双方的交流沟通提高教学质量，符合建构主义教学观的理论基础。目前多数学者认为，这种方法更能保证学生评教目标的实现，并在实践中受到越来越多的重视。
三、量表制订的实践
依据上述理论和方法，南京师范大学进行了量表制订和质量评价实践。
（一）量表制订
根据前人研究的理论和多年的实践，教师的教学质量可以分解为教学内容、教学方法、教学态度、教学效果这四个基元，④由这四个相关因素群组成的指标体系可对教师的教学质量进行判断。但是考虑到学校师范传统的特殊性，教师的教学行为必须符合师范性的特殊要求。基于此，我们增加了“教书育人”基元，以考察教师在教学中是否以师范大学教师的标准来要求自己。我们又在量表的最后增加了“总体印象”基元，因为“高等教育质量标准可能是潜在的、暗含的、不明确的”“高等教育质量标准具有模糊性的特点”。⑤基于模糊判断理论，教学质量无法以精确的数量来量化，所有的价值判断都是基于评估主体评估时的心理知觉。另外，在模糊判断的外围再加一层模糊判断，依据里层与外层之间的相关性，可以验证学生评教数据的可靠性。
在确定了六项评估基元以后，我们又广泛收集国内外研究成果，初步拟定了每个基元的细化指标群，也就是二级指标。面向学校师生采取座谈、问卷调查等形式，广泛征求意见，确定了30个二级指标，供专家决策。然后，运用特尔菲法预测模型来确定各基元的权重。我们在学校教学委员会中聘请了23位教学专家担任预测专家，他们都具有高级以上职称，其中教授14位，且都长期从事教学管理和教学研究。为了充分考虑各学科的特殊性，原则上保证每学科有一位教学专家。
我们首先向专家详细阐述了量表产生的背景、目的、意义及特尔菲法的程序、作用，然后按以下程序进行了操作。（1）制订与分发第一轮量表，让专家填写各指标的权重。由专家“背对背”填写，即专家互不见面、互不讨论，完全按自己的意见做出决定。（2）第一轮问卷回收后，计算结果。包括：平均数、中位数、四分位数、标准差、众数等描述性统计量。（3）将第一轮量表的统计总结附在第二轮量表上寄给专家，同时附上各个专家自己的第一轮回答。询问每个专家在看完小组的平均结果后是否希望改变自己的预测。假如专家的预测值在两个中间四分位数范围之外，而专家又不改变自己原来的预测，要请他给出理由。（4）回收第二轮量表并整理结果。包括新预测结果及部分专家不同意第一轮问卷结果的意见。（5）将第二轮量表的结果与意见综合进第三轮，说明与第二轮相似。但加上了部分专家不同意预测结果的意见。（6）第三轮问卷的结果出来以后，绝大多数预测已经在中位数附近。
特尔菲法定权也是在以上过程中完成的，它是客观地综合多数专家的经验与主观判断，不需要专家填写判断矩阵，只要专家们根据前一轮所得出的均值和离散度来修正自己对权重的意见，从而使均值逐次接近最后的结果。经过三轮意见征询，保留了六个基元，去掉了11个二级指标，形成了含有19个二级指标的评价量表。
（二）量表质量评价
1.信度分析。信度指测量的一致性程度，表现为同一测验在不同时间上所得结果的一致性。⑥信度包括内在信度和外在信度，外在信度中最常用的估计方法是重测信度或再测信度，内在信度的常用估计方法是内在一致性信度。
再测信度是指同一个测验对同一组被试两次或多次所得结果的一致性程度，用在学生评教量表上，就是指同一组学生用同一评价量表对同一教师的教学质量进行两次测量的一致性程度。在实际操作中，两次对同一位教师进行评价可能引起学生的反感；第一次作答会在记忆和心理等方面影响第二次作答；两次作答时的主客观状态都可能引起学生评教的误差。加之测量组织的困难，量表再测的难度较大。为了解决这一矛盾，我们抽取了新量表实施前3个学期和后3个学期的学生评教数据进行分析，统计软件为SPSS11.5。
我们用最近一次的评估结果作为参照，把抽样的6个学期作为新变量，用单样本T检验验证新数据是否与以往数据有显著性差异。结果显示，在自由度基本接近的情况下，单样本t检验明显分成了两个时间段。新量表实施以来的各学期与实施之前的各学期相比，之前的三个学期P值都是0.000，表明在95％的置信度下，可以判断之前的评估得分与之后的评估得分存在显著差异，说明评估量表更改前后的效果明显不同。修订后的量表表现出了较好的再测信度，新量表实施之后得分的P值都远大于0.05，没有显著性差异。根据常识，学校的整体教学水平在短时间内不会有明显变化，说明新量表具有良好的再测信度。
再用前3个学期中的第一个对照学期的评教数据作为参照，计算老量表的差异性。经单因素t检验，结果显示，在自由度相当的情况下，在99%的置信区间内，有两个学期的得分存在明显差异，说明老量表各学期变化较大，表现出较大的随机性，不稳定，信度不高。
内在信度是指量表变量间的一致性程度，即一组问题（或整个量表）是否测量的是同一个概念。我们从实施新量表后4个学期的学生评教数据中，由计算机随机抽取了540个数据，用克隆巴赫（注意：此处有字母）系数来衡量内在一致性信度高低。结果显示（注意：此次有字母）系数达到0.9783。一般来说，信度系数在0.8以上就可以认为相应量表信度较高，表明19个变量之间结构相似，结果的一致性程度高。
2.效度分析。效度是衡量量表质量的另一个重要指标，亦称“测验的有效性”，指某一测验所能提供的对某一特质测量的理想程度，也就是测验在多大程度上测量了所要测的内容。⑦我们用量表的结构效度来评价量表优劣，结构效度可以采用因子分析法求得。因子分析是一种将多变量化简的技术，它可以看做主成分分析的推广，主要目的是分解原始变量，从中归纳出潜在的“类别”。相关性较强的指标归为一类，不同类变量的相关性则较低。每一类变量代表了一个“公共因子”，即一种内在结构，因子分析就是要寻找该结构。
利用前面提到的学生评教数据，我们把19个变量作为分散的变量放入因子分析过程，找出了5个公因子。在进行因子分析前，先进行了KMO和Bartlett球形检验，结果KMO非常高，达到了0.960。Bartlett球形检验的结果P＝0.000，差异非常显著，说明19个变量之间高度相关，可以用因子分析简化数据归纳出主要因子。旋转方法采用方差最大化，以便使变量集中，形成理想的公因子。
从统计结果看，提取两个公因子的方差解释度只有50.566％，也就是说会丢失掉一半的信息量，这样提取的结果很不理想。而提取5个公因子后方差贡献率达到了91.467％，仅仅丢失不到10％的信息，在统计学中是可以容忍的。
考察所有二级指标的设置是否能够很好地反映一级指标的内涵，这需要判断各个变量对公因子的因子载荷。对因子旋转后的负荷矩阵进行整理，发现一级指标之间的分界非常明显。“教学内容”五个二级指标以及“教学效果”四个二级指标设计合理，因子载荷显示其所属变量非常集中，归为一类。“教学方法”四个二级指标被分成两个层次，“教学手段运用是否适当”和“教学方法多样灵活”指向教师本身，而“鼓励思考”和“鼓励创新”两个变量则针对于学生，与前两个变量不同层面。“教学态度”的两个变量集中在一起，最后一个变量“是否与学生进行交流”从字面上解释明显与前两个变量“认真备课”和“不缺课”分道扬镳。表面上看，这个变量与教师育人情况更靠近，但我们采用的是引申含义，即教师是否以平等、民主的态度授课，这可能与学生的理解出现偏差。“教书育人”的三个二级指标也相对集中，但是也被纳入“教学效果”公因子里，而且因子负荷普遍较高，说明这两个指标的区分度不高，其内涵有待于进一步斟酌。
［注释］
①陈德良，周春林.学生评教透视［J］.江苏高教，2006（2）：68.
②⑤安心.高等教育质量保证体系研究［M］.兰州：甘肃教育出版社，1999：81，81.
③谭顶良.高等教育心理学［M］.南京：河海大学出版社，2006：43.
④陈国海.我国高校“学生评教”研究综述［J］.高等教育研究学报，2001（3）：31.
⑥⑦顾明远.教育大辞典（简编本）［M］.上海：上海教育出版社，1999：519，510.