论文部分内容阅读
摘要：科学合理的评价指标体系是保证人才培养质量评价结果客观有效的关键要素。在构建出五年制高职人才培养质量评价指标模型的基础上，通过编制问卷和网络调查收集相关数据，利用因子分析法，分析评价指标内在结构和联系，计算出各评价指标的权重，从而完善五年制高职人才培养质量评价指标体系，进而提高评价指标体系的科学性和实效性。
关键词：因子分析法;五年制高职;人才培养质量评价指标权重
中图分类号：G715 文献标志码：A 文章编号：1673-9094-（2019）12C-0052-05
权重又称权值，是指某一因素或指标相对于某一事物的重要程度。相同的指标会因权重的不同，而使评价结果大相径庭。科学合理的指标权重对于构建客观的人才培养质量评价指标体系有重要的作用。本文在构建出指标模型的基础上，通过编制问卷和问卷星网络调查收集相关数据，利用因子分析法，分析评价指标内在结构和联系，计算出各评价指标的权重，从而完善了指标体系，进而提高评价指标体系的科学性和实效性。
一、指标体系的构建
（一）CIPP模型概述
CIPP评估模型是由美国著名教育评价专家斯塔弗尔比姆（D.L.Stufflebeam）于1966年首次提出，目前已广泛运用于教育评价之中。CIPP评价模型分为背景评价（Context-Evaluation）、输入评价（Input-Evaluation）、过程评价（Process-Evaluation）和结果评价（Product-Evaluation）四个部分。该评价模型有着全程性、过程性和反馈性等显著的特点，它契合“教诊改”理念，有利于从整体上对人才培养质量进行诊断和评价，根据各个评价阶段所反映出来的问题与不足及时调整战略，改进方法，提高人才培养质量。
（二）评价模型建构
笔者通过广泛征求省内外教育评价专家的意见，在充分理解CIPP评价模型内涵的基础上，将背景评价、输入评价、过程评价和成果评价分别定义为五年制高职人才培养质量的目标建构评价、资源配置评价、实施过程评价和成果绩效评价。背景评价——人才培养质量目标建构评价，就是要培养什么样的人才，是否受到社会欢迎，体现社会需求和认可度;输入评价——人才培养质量资源配置评价，就是将办学设施、师资队伍等资源最优化，是人才培养质量的条件和保障;过程评价——人才培养质量实施过程评价，是对学校人才培养有效度的评价;结果评价——人才培养质量成果绩效评价，是对学校人才培养质量目标达成度的评价，就是对学校人才培养创新、毕业生的发展以及满意度的评价。
（三）指标建立
笔者访谈了5名省内外职业教育评价专家，充分采纳了他们的意见，根据已定义的五年制高职人才培养质量的4个一级指标的内涵，结合五年制高职人才培养工作状态数据采集平台（江苏联合职业技术学院专业版）“数据平台”指标项，将156个核心监测指标整合为13个二级指标和56个三级指标。
二、运用因子分析法计算评价指标的权重
（一）问卷调查
问卷采用利克特五点式量表技術，将56个三级指标根据对五年制高职人才培养质量影响程度的不同，将答案分为5个等级：不重要、不太重要、一般、比较重要、非常重要，分别赋值1—5分。调查对象是江苏联合职业技术学院各分院、办学点骨干教师，采用问卷星网络调查的方式，于2019年8月10日至9月12日开放，回收有效问卷153份。
显示，被调查对象中地域分布较为合理，涵盖了江苏所有13个设区市的分院和办学点，有37.91%的被调查对象为高级职称，有59.47%的被调查对象为学校管理人员，调查的样本具有多样性和广泛性，具有较强的统计分析意义。有超过70%的被调查对象现在从事或以前从事过五年高职人才培养质量评价相关方面的工作，对于构建科学、系统、客观的指标体系有着很好的促进作用。
（二）数据处理及分析
本研究数据处理与分析主要通过SPSS13.0软件进行，采用因子分析、主成分分析等方法来确定五年制高职人才培养质量评价指标的权重。
1.KMO and Bartlett’s Test。
KMO（Kaiser-Meyer-Olkin）检验统计量是用于比较变量间简单相关系数和偏相关系数的指标。其数值越接近于1，意味着变量间的相关性越强，原有变量越适合作因子分析。Bartlett球形检验则是检验相关矩阵是否为单位矩阵而决定因子分析的模型是否恰当。本研究样本检验结果：KMO=0.954，Bartlett球形检验的卡方统计值为14306.090（自由度1540，p<0.000），表明相关矩阵不是单位矩阵，适合进行因子分析。
2.信度。
信度是指测量结果的一致性、稳定性及可靠性，通常以内部一致性来表示该测验结果信度的高低。通过对56个监测指标的信度检验，结果显示，总体内部一致性信度系数α为0.991，目标建构评价、资源配置评价、实施过程评价和绩效成果评价四个一级指标内部一致性信度系数分别为0.944、0.973、0.987和0.966，表明评价指标整体和各指标间的内部一致性良好。
3.提取公因子。
采用主成分分析法，并基于特征根大于1的原则，按最大方差旋转，提取出了5个具有较高解释能力的因子作为公因子。5个公因子的特征值分别是38.584、2.709、1.634、1.212、1.166，他们累计方差贡献率为80.903%。
（三）权重的计算
将因子分析所初始提取的因子载荷矩阵进行最大方差旋转，可以得到旋转后的因子载荷矩阵、因子得分系数等。通过计算可以确定出各级指标的权重。以下权重的计算以五年制高职人才培养质量目标建构评价指标为例。
反映公因子FATOR1的指标在t11、t21、t31、t41、t51、t61、t71、t81、t91在一级指标五年制高职人才培养质量目标建构评价上的因子载荷分别是：0.765、0.791、0.784、0.811、0.708、0.770、0.805、0.686、0.701。 三、結论与建议
本文基于CIPP评价模型及数据平台，构建了合理的评价模型，并通过客观赋值的方法确定了各指标的权重，得出了如下结论与建议。
（一）构建了权重分配合理的评价指标体系
本文系统分析了CIPP评价模型内涵，挖掘了数据平台的数据意义，运用因子分析法对评价指标权重进行了客观赋值，构建出了比较科学合理的评价指标体系。从一级指标权重来看，资源配置评价和实施过程评价的权重分别为0.333和0.378，贡献度超过70%，可见，人才培养质量的高低关键在于资源配置和实施过程两个方面;从实施过程评价来看，专业建设的权重为0.492，贡献度占约50%，可见，专业建设是实施过程的最重要的方面;从绩效评价来看，毕业生就业质量权重为0.543，贡献度超过50%，可见，毕业生就业质量是人才培养质量成效的最直接的体现。整体上，评价指标权重的配比与对人才培养质量影响因素的重要程度基本一致。
（二）改进建议
从指标构建来看，从数据平台中提取的个别指标无法用直接数据来体现。例如，学校是否为国示范学校，结果为“是”和“否”两种，这就需要开展质性分析。所以，在指标构建中，要兼顾定性与定量，将质性分析与量化分析相结合，列出更加科学、合理、全面的人才培养质量影响因素。从权重确定来看，由于普通评价者缺乏评价专业知识，且各评价者专业差异性很大，故对于同一指标来讲，不同的评价者会产生不同的意见，故而权重也会不同。所以，在实际权重确定的过程中，可以借鉴多元评价理论，将专家咨询法与客观赋权法相结合。
参考文献：
[1]朱德全，宋乃庆.教育统计与测评技术[M].重庆：西南师范大学出版社，2007.
[2]赵世明，王君.问卷编制指导[M].北京：教育科学出版社，2006.
[3]卢纹岱.SPSS for Windows统计分析：第3版[M].北京：电子工业出版社，2006.
[4]沈志丹.基于CIPP的五年制高职人才培养质量评价指标体系模型建构[J].江苏五年制高职教育，2019（3）.
[5]方向阳.高职院校人才培养质量评价指标权重设计——高职院校人才培养质量评价研究之二 [J].现代教育管理，2009（9）.
[6]沈志丹.中等职业学校实施ISO9000质量管理体系成功因素的研究[D].苏州：苏州大学，2010.
责任编辑：曹鸿骅
Abstract： Scientific and reasonable evaluation index system is the key factor to ensure the objective and effective evaluation results of talent training quality. On the basis of constructing the five-year higher vocational training quality evaluation index model， this paper collects the relevant data through the preparation of questionnaires and network surveys. By using factor analysis method， it analyzes the internal structure and relationship of evaluation indexes， calculate the weight of each evaluation index， so as to improve the five-year higher vocational training quality evaluation index system， and then improve the scientificity and effectiveness of the evaluation index system.
Key words： factor analysis; five-year higher vocational education; evaluation index weight of talent training quality
关键词：因子分析法;五年制高职;人才培养质量评价指标权重
中图分类号：G715 文献标志码：A 文章编号：1673-9094-（2019）12C-0052-05
权重又称权值，是指某一因素或指标相对于某一事物的重要程度。相同的指标会因权重的不同，而使评价结果大相径庭。科学合理的指标权重对于构建客观的人才培养质量评价指标体系有重要的作用。本文在构建出指标模型的基础上，通过编制问卷和问卷星网络调查收集相关数据，利用因子分析法，分析评价指标内在结构和联系，计算出各评价指标的权重，从而完善了指标体系，进而提高评价指标体系的科学性和实效性。
一、指标体系的构建
（一）CIPP模型概述
CIPP评估模型是由美国著名教育评价专家斯塔弗尔比姆（D.L.Stufflebeam）于1966年首次提出，目前已广泛运用于教育评价之中。CIPP评价模型分为背景评价（Context-Evaluation）、输入评价（Input-Evaluation）、过程评价（Process-Evaluation）和结果评价（Product-Evaluation）四个部分。该评价模型有着全程性、过程性和反馈性等显著的特点，它契合“教诊改”理念，有利于从整体上对人才培养质量进行诊断和评价，根据各个评价阶段所反映出来的问题与不足及时调整战略，改进方法，提高人才培养质量。
（二）评价模型建构
笔者通过广泛征求省内外教育评价专家的意见，在充分理解CIPP评价模型内涵的基础上，将背景评价、输入评价、过程评价和成果评价分别定义为五年制高职人才培养质量的目标建构评价、资源配置评价、实施过程评价和成果绩效评价。背景评价——人才培养质量目标建构评价，就是要培养什么样的人才，是否受到社会欢迎，体现社会需求和认可度;输入评价——人才培养质量资源配置评价，就是将办学设施、师资队伍等资源最优化，是人才培养质量的条件和保障;过程评价——人才培养质量实施过程评价，是对学校人才培养有效度的评价;结果评价——人才培养质量成果绩效评价，是对学校人才培养质量目标达成度的评价，就是对学校人才培养创新、毕业生的发展以及满意度的评价。
（三）指标建立
笔者访谈了5名省内外职业教育评价专家，充分采纳了他们的意见，根据已定义的五年制高职人才培养质量的4个一级指标的内涵，结合五年制高职人才培养工作状态数据采集平台（江苏联合职业技术学院专业版）“数据平台”指标项，将156个核心监测指标整合为13个二级指标和56个三级指标。
二、运用因子分析法计算评价指标的权重
（一）问卷调查
问卷采用利克特五点式量表技術，将56个三级指标根据对五年制高职人才培养质量影响程度的不同，将答案分为5个等级：不重要、不太重要、一般、比较重要、非常重要，分别赋值1—5分。调查对象是江苏联合职业技术学院各分院、办学点骨干教师，采用问卷星网络调查的方式，于2019年8月10日至9月12日开放，回收有效问卷153份。
显示，被调查对象中地域分布较为合理，涵盖了江苏所有13个设区市的分院和办学点，有37.91%的被调查对象为高级职称，有59.47%的被调查对象为学校管理人员，调查的样本具有多样性和广泛性，具有较强的统计分析意义。有超过70%的被调查对象现在从事或以前从事过五年高职人才培养质量评价相关方面的工作，对于构建科学、系统、客观的指标体系有着很好的促进作用。
（二）数据处理及分析
本研究数据处理与分析主要通过SPSS13.0软件进行，采用因子分析、主成分分析等方法来确定五年制高职人才培养质量评价指标的权重。
1.KMO and Bartlett’s Test。
KMO（Kaiser-Meyer-Olkin）检验统计量是用于比较变量间简单相关系数和偏相关系数的指标。其数值越接近于1，意味着变量间的相关性越强，原有变量越适合作因子分析。Bartlett球形检验则是检验相关矩阵是否为单位矩阵而决定因子分析的模型是否恰当。本研究样本检验结果：KMO=0.954，Bartlett球形检验的卡方统计值为14306.090（自由度1540，p<0.000），表明相关矩阵不是单位矩阵，适合进行因子分析。
2.信度。
信度是指测量结果的一致性、稳定性及可靠性，通常以内部一致性来表示该测验结果信度的高低。通过对56个监测指标的信度检验，结果显示，总体内部一致性信度系数α为0.991，目标建构评价、资源配置评价、实施过程评价和绩效成果评价四个一级指标内部一致性信度系数分别为0.944、0.973、0.987和0.966，表明评价指标整体和各指标间的内部一致性良好。
3.提取公因子。
采用主成分分析法，并基于特征根大于1的原则，按最大方差旋转，提取出了5个具有较高解释能力的因子作为公因子。5个公因子的特征值分别是38.584、2.709、1.634、1.212、1.166，他们累计方差贡献率为80.903%。
（三）权重的计算
将因子分析所初始提取的因子载荷矩阵进行最大方差旋转，可以得到旋转后的因子载荷矩阵、因子得分系数等。通过计算可以确定出各级指标的权重。以下权重的计算以五年制高职人才培养质量目标建构评价指标为例。
反映公因子FATOR1的指标在t11、t21、t31、t41、t51、t61、t71、t81、t91在一级指标五年制高职人才培养质量目标建构评价上的因子载荷分别是：0.765、0.791、0.784、0.811、0.708、0.770、0.805、0.686、0.701。 三、結论与建议
本文基于CIPP评价模型及数据平台，构建了合理的评价模型，并通过客观赋值的方法确定了各指标的权重，得出了如下结论与建议。
（一）构建了权重分配合理的评价指标体系
本文系统分析了CIPP评价模型内涵，挖掘了数据平台的数据意义，运用因子分析法对评价指标权重进行了客观赋值，构建出了比较科学合理的评价指标体系。从一级指标权重来看，资源配置评价和实施过程评价的权重分别为0.333和0.378，贡献度超过70%，可见，人才培养质量的高低关键在于资源配置和实施过程两个方面;从实施过程评价来看，专业建设的权重为0.492，贡献度占约50%，可见，专业建设是实施过程的最重要的方面;从绩效评价来看，毕业生就业质量权重为0.543，贡献度超过50%，可见，毕业生就业质量是人才培养质量成效的最直接的体现。整体上，评价指标权重的配比与对人才培养质量影响因素的重要程度基本一致。
（二）改进建议
从指标构建来看，从数据平台中提取的个别指标无法用直接数据来体现。例如，学校是否为国示范学校，结果为“是”和“否”两种，这就需要开展质性分析。所以，在指标构建中，要兼顾定性与定量，将质性分析与量化分析相结合，列出更加科学、合理、全面的人才培养质量影响因素。从权重确定来看，由于普通评价者缺乏评价专业知识，且各评价者专业差异性很大，故对于同一指标来讲，不同的评价者会产生不同的意见，故而权重也会不同。所以，在实际权重确定的过程中，可以借鉴多元评价理论，将专家咨询法与客观赋权法相结合。
参考文献：
[1]朱德全，宋乃庆.教育统计与测评技术[M].重庆：西南师范大学出版社，2007.
[2]赵世明，王君.问卷编制指导[M].北京：教育科学出版社，2006.
[3]卢纹岱.SPSS for Windows统计分析：第3版[M].北京：电子工业出版社，2006.
[4]沈志丹.基于CIPP的五年制高职人才培养质量评价指标体系模型建构[J].江苏五年制高职教育，2019（3）.
[5]方向阳.高职院校人才培养质量评价指标权重设计——高职院校人才培养质量评价研究之二 [J].现代教育管理，2009（9）.
[6]沈志丹.中等职业学校实施ISO9000质量管理体系成功因素的研究[D].苏州：苏州大学，2010.
责任编辑：曹鸿骅
Abstract： Scientific and reasonable evaluation index system is the key factor to ensure the objective and effective evaluation results of talent training quality. On the basis of constructing the five-year higher vocational training quality evaluation index model， this paper collects the relevant data through the preparation of questionnaires and network surveys. By using factor analysis method， it analyzes the internal structure and relationship of evaluation indexes， calculate the weight of each evaluation index， so as to improve the five-year higher vocational training quality evaluation index system， and then improve the scientificity and effectiveness of the evaluation index system.
Key words： factor analysis; five-year higher vocational education; evaluation index weight of talent training quality