论文部分内容阅读
[摘 要] 针对目前采用AHP对MOOC作适切性评价时所忽视的评价指标权重不确定性问题，通过以区间标度代替点值的方法，设计多层次的MOOC适切性评价指标体系，提出MOOC适切性评价等级和区间数等级，利用区间层次分析法确定MOOC适切性评价指标的区间数权重，结合区间数理论与群决策方法构建基于区间层次分析法和专家群决策的MOOC适切性评价模型。最后结合评价实例对某课程的适切性进行评价，并验证了该综合评价模型的合理性和有效性。
[关键词] MOOC； 区间层次分析法； 评价； 专家群决策
[中图分类号] G434 [文献标志码] A
[作者简介] 岳進（1976—），女，河南临颍人。副教授，硕士，主要从事英语教学法研究。E-mail：[email protected]。
一、问题的提出
大力发展具有我军特色的军事职业教育是新时代构建三位一体新型军事人才培养体系的关键，全面推动基于网络在线为主的多样化方式的学习是军事职业教育改革的重中之重。早在2015年5月于青岛召开的国际教育信息化大会上，便举行了以“有关包容性和适切性的终身学习”为主题的部长级圆桌会议[1]。由于MOOC可以为官兵提供优质、便捷、高效的在线教育资源，因而目前全军院校正如火如荼地开展各专业学科的MOOC建设。当下日益常态化的中外联演联训、南海战巡、东海警巡、绕岛巡航，对航空英语提出了更高的要求，迫切需要开展“军事航空英语”MOOC的开发建设，以切实提高航空兵部队飞行员的英语水平。而为保证MOOC建设的质量效果，适切性评价的问题则亟须更深入的探究。
MOOC的适切性问题实际上是关于MOOC的评价问题，目前国内学者对MOOC的评价研究主要分为三类，即MOOC自身的质量评价、MOOC学习过程及学习结果的评价和MOOC满意度的评价。部分学者对MOOC的适应性和可用性进行了研究，其中较有代表性的是刊发于2015 年4月《教育发展研究》的《MOOC本土化的适切性研究》和《教学对接MOOC的适切性策略》两篇论文，针对MOOC的适切性研究进行了有益的探索。国外学者也对MOOC的适切性开展了广泛而深入的研究，不仅对MOOC自身适切性问题进行了研究，并利用适切性的原则和结论进行教学设计开发。适切性是开展教学活动的基本原则和提高教学效果的重要前提。MOOC作为一种新型的教学形式或教学资源，同样需要遵循适切性原则、开展适切性评价研究。
国内学者对于MOOC适切性或质量评价问题的研究方面，确定评价指标权重大多采用AHP、熵权法或改进的AHP来进行判断。如邱均平等[2]采用层次分析法和模糊综合评价法对MOOC质量的评价问题进行研究，姚凯等[3]基于 Vague集的相似度量方法建立 MOOC 评价模型，童小素等[4]依据《网络课程评价规范（CELTS-22）》建立MOOC质量评价指标体系，李五洲等[5]基于模糊综合评价法对MOOC的适切性评价问题进行探索。上述学者的评价模型中，都是通过刚性的点值来对不同权重和评价等级进行定性，这样导致的结果就是无法兼顾不同评价专家知识结构、经验阅历和能力水平之间的差异，从而忽视了指标权重和指标值的不确定性因素。
基于上述学者的既有成果，本研究拟采用区间数理论和区间层次分析法（Interval-based AHP，IAHP）对MOOC的适切性评价问题进行改进，即通过区间标度来代替点值的柔性策略以充分考虑评价专家的经验和偏好，有效弥补传统的AHP在模糊决策上的缺陷，使专家群决策的机制具有更好的容错性，确保评价模型的判断更客观、普适。
二、MOOC适切性评价指标体系构建
开展MOOC适切性评价的基础和前提是构建科学、合理的MOOC适切性评价指标体系。影响MOOC适切性的因素是多方面的，既与授课内容、授课方法、教学组织、教学设计、媒体技术运用和教学资源等因素息息相关，又与评价主体、评价形式和课程管理等因素有关，需要构建多维多层次的评价指标体系。姚凯等在研究MOOC评价模型过程中，将课程内容、教学设计、界面设计、媒体技术和课程管理作为一级评价指标，下设23个二级评价指标[3]，二级指标数量偏多；童小素等构建的MOOC质量评价指标体系中，将课程内容、教学设计和学习支持作为一级评价指标，下设26个二级评价指标[4]，二级指标数量过多、计算复杂，且部分二级指标有相关性；邱均平等在研究MOOC质量评价中，将教学内容、教学资源、教学效果和教学技术作为一级评价指标，下设14个二级评价指标[2]；冯雪松等在研究MOOC评价体系中，将内容的组织、内容的呈现、讲授方法和课程的执行与推广作为一级评价指标，下设18个二级评价指标[6]。综上可知，不同的学者从不同的角度出发构建了不同的评价指标体系，但课程内容或教学内容始终是评价指标体系中的重要组成部分；通过MOOC建设实践可知，教学方式和技术手段的合理运用是提高MOOC质量的重要前提，此外，评价方式是否科学合理直接影响学习的积极性、公平性和学习效果检验的有效性，进而影响MOOC建设质量，与课程管理和教学效果具有一致性。通过对比分析现有评价指标体系的优缺点，并咨询多位MOOC开发专家和学者的意见建议，本研究拟从教学内容、教学方式、评价方式和技术手段4个维度评价MOOC的适切性，最终构建如图1所示的多层次的MOOC适切性评价指标体系。
进行MOOC适切性评价，需要确定适切性评价等级，本文将适切性优劣划分为5个等级，分别为：“好”“较好”“一般”“较差”和“差”，为了适于区间层次分析法评价MOOC适切性，需要采用区间数方法对适切性等级进行量化，“好”“较好”“一般”“较差”和“差”5个适切性等级对应的区间数分别为：[0.8，1.0]、[0.6，0.8]、 [0.4，0.6]、 [0.2，0.4]和[0，0.2]。
三、基于IAHP确定评价指标区间数权重 在研究评价、评估或决策问题中，计算合理有效的指标权重是进行评价、评估或决策的关键前提，计算指标权重的方法主要有主观赋权法、客观赋权法和组合赋权法。主观赋权法主要靠专家的知识结构、实践经验和能力水平得出权重，得到的指标权重主观性强，且与指标期望值相契合，所以在计算指标的权重方面应用较为广泛。MOOC适切性评价指标体系为多维度、多层次体系，并且各级评价指标都属于定性指标，不便利用客观赋权法计算评价指标的权重值，这种情况下，利用主观赋权法计算定性评价指标的权重则具有可行性和合理性。由于经验能力存在差异，不同专家在确定指标权重方面考虑的角度不同，给出的指标权重往往是一个区间数，基于此，作者拟采用IAHP计算MOOC適切性评价的区间数权重。
（一）区间数和IAHP的基本原理
五、评价实例
本文拟针对李五洲、汪基德所发表的“基于模糊综合评价法的MOOC适切性研究”（《电化教育研究》2016年12期）一文中某高校现代教育技术MOOC课程的同一案例数据[5]，利用本研究提出的MOOC适切性综合评价模型开展评价研究。通过两种评价结果的对比分析，以客观检验该评价模型是否合理有效。
算例中邀请了40名学习该MOOC课程的学生和10位MOOC设计开发专家，对该MOOC课程适切性的20个二级指标进行定性评价，得出的定性评价结果见表3。依据MOOC适切性评价模型的方法步骤，用区间数和群决策方法将定性评价结果转换为规范化的区间数评价值，见表4。其中，Iij表示第i个一级指标下的第j个二级指标。
根据MOOC适切性综合评价模型中提出的指标聚合公式，采用MATLAB6.5软件编写简易的区间数指标聚合程序，经程序运算便可得到4个一级定性评价指标的区间数评价值分别为[0.56，0.78]、[0.48，0.76]、[0.31，0.52]和[0.58，0.84]，将4个一级指标进一步向上聚合，便可得到该现代教育技术MOOC的适切性区间数评价值为[0.47，0.79]。为了便于分析，取MOOC适切性区间数评价值的中间值0.63，与语言评价值相比较可知，该现代教育技术MOOC的适切性评价结果为“较好”，但处于“较好”的下限，偏向于“一般”。采用同样的方法，可运算得到教学内容、教学方式、评价方式和技术手段的评价值中间值分别为0.67、0.62、0.415和0.71，与其相对应的适切性评价等级分别为“较好”“较好”“一般”和“较好”。评价结果表明教学内容、教学方式和技术手段具有的适切性较好，相对来说，技术手段的适切性要好一些，教学方式的适切性虽然为“较好”但却偏向于“一般”，评价方式的适切性虽然处于“一般”的区间但却偏向于“较差”，需要重点关注和改进。从表4给出的二级指标区间数评价值可以判断出，一级指标教学内容下的组织方式、呈现方式和难易程度三个二级指标基本上与“较好”的等级相吻合，说明该MOOC课程在这3个方面具有较好的适切性；而容量大小和辅助材料的区间数评价值与“一般”的评价等级相接近，说明该MOOC课程在这两个方面的适切性有待进一步加强。同理，可以分析出教学方式、评价方式和技术手段三个一级指标下各二级指标的适切性优劣。上面计算得到的定性评价结论与李五洲、汪基德采用模糊综合评价法得出的定性评价结论相一致，也与专家给出的主观定性评价结论基本一致，而李五洲、汪基德采用的模糊综合评价方法仅计算出了MOOC适切性优劣的隶属度，未能计算出MOOC适切性的具体评价值，这表明本研究所构建的MOOC适切性综合评价模型是合理有效的，且比以往的评价方法更加科学有效。
六、结 语
MOOC适切性评价是衡量MOOC适切性优劣、优化MOOC适切性和提高MOOC建设质量的关键手段。本文针对MOOC适切性评价指标所固有的不确定性、多层次性和区间性这些显著特点，采用区间层次分析法与区间数理论相结合的方法计算出了MOOC适切性定性评价指标的区间数权重，解决了以往MOOC适切性评价过程中指标权重计算方法的不足。然后提出采用区间数理论和专家群决策理论对5级定性评价值进行区间量化处理的方法，进一步构建了基于区间层次分析法和专家群决策的MOOC适切性评价模型。评价实例的计算结果充分说明，本研究所构建的MOOC适切性评价模型是合理有效的，为MOOC适切性评价和类似的复杂不确定多属性评价问题提供了一种新的方法，为开展军事航空英语MOOC建设提供了理论依据。
[参考文献]
[1] 赵明博. 国际教育信息大会举行部长级圆桌会[EB/OL].[2016-04-18].http：//www.chinanews.com/ sh/2015/05-24/7297304.shtml.
[2] 邱均平，欧玉芳. 慕课质量评价指标体系构建及应用研究[J]. 高教发展与评估，2015，31（5）：73-83.
[3] 姚凯，李思志，李艳红，等. MOOC评价模型研究[J]. 复旦教育论坛，2017，15（3）：65-71.
[4] 童小素，贾小军. MOOC质量评价体系的构建探究[J]. 中国远程教育，2017（5）：63-72.
[5] 李五洲，汪基德. 基于模糊综合评价法的MOOC适切性研究[J]. 电化教育研究，2016（12）：60-66.
[6] 冯雪松，于青青，李晓明. 在实践中探索MOOC评价体系[J]. 中国大学教学，2015（10）：72-82.
[7] 王洋. 基于区间数的数控机床综合性能评价[J]. 工具技术，2016（1）：60-63.
[8] 刘雅荣. 基于区间层次分析法的机械加工工艺方案评价研究[J]. 机械设计与制造，2015（12）：258-260.
[9] 李春强. 基于区间层次分析法的舰船动力系统方案评估研究[J]. 舰船科学技术，2016（13）：124-127.
[10] 徐泽水. 不确定多属性决策方法及应用[M]. 北京：清华大学出版社，2004：89.
[关键词] MOOC； 区间层次分析法； 评价； 专家群决策
[中图分类号] G434 [文献标志码] A
[作者简介] 岳進（1976—），女，河南临颍人。副教授，硕士，主要从事英语教学法研究。E-mail：[email protected]。
一、问题的提出
大力发展具有我军特色的军事职业教育是新时代构建三位一体新型军事人才培养体系的关键，全面推动基于网络在线为主的多样化方式的学习是军事职业教育改革的重中之重。早在2015年5月于青岛召开的国际教育信息化大会上，便举行了以“有关包容性和适切性的终身学习”为主题的部长级圆桌会议[1]。由于MOOC可以为官兵提供优质、便捷、高效的在线教育资源，因而目前全军院校正如火如荼地开展各专业学科的MOOC建设。当下日益常态化的中外联演联训、南海战巡、东海警巡、绕岛巡航，对航空英语提出了更高的要求，迫切需要开展“军事航空英语”MOOC的开发建设，以切实提高航空兵部队飞行员的英语水平。而为保证MOOC建设的质量效果，适切性评价的问题则亟须更深入的探究。
MOOC的适切性问题实际上是关于MOOC的评价问题，目前国内学者对MOOC的评价研究主要分为三类，即MOOC自身的质量评价、MOOC学习过程及学习结果的评价和MOOC满意度的评价。部分学者对MOOC的适应性和可用性进行了研究，其中较有代表性的是刊发于2015 年4月《教育发展研究》的《MOOC本土化的适切性研究》和《教学对接MOOC的适切性策略》两篇论文，针对MOOC的适切性研究进行了有益的探索。国外学者也对MOOC的适切性开展了广泛而深入的研究，不仅对MOOC自身适切性问题进行了研究，并利用适切性的原则和结论进行教学设计开发。适切性是开展教学活动的基本原则和提高教学效果的重要前提。MOOC作为一种新型的教学形式或教学资源，同样需要遵循适切性原则、开展适切性评价研究。
国内学者对于MOOC适切性或质量评价问题的研究方面，确定评价指标权重大多采用AHP、熵权法或改进的AHP来进行判断。如邱均平等[2]采用层次分析法和模糊综合评价法对MOOC质量的评价问题进行研究，姚凯等[3]基于 Vague集的相似度量方法建立 MOOC 评价模型，童小素等[4]依据《网络课程评价规范（CELTS-22）》建立MOOC质量评价指标体系，李五洲等[5]基于模糊综合评价法对MOOC的适切性评价问题进行探索。上述学者的评价模型中，都是通过刚性的点值来对不同权重和评价等级进行定性，这样导致的结果就是无法兼顾不同评价专家知识结构、经验阅历和能力水平之间的差异，从而忽视了指标权重和指标值的不确定性因素。
基于上述学者的既有成果，本研究拟采用区间数理论和区间层次分析法（Interval-based AHP，IAHP）对MOOC的适切性评价问题进行改进，即通过区间标度来代替点值的柔性策略以充分考虑评价专家的经验和偏好，有效弥补传统的AHP在模糊决策上的缺陷，使专家群决策的机制具有更好的容错性，确保评价模型的判断更客观、普适。
二、MOOC适切性评价指标体系构建
开展MOOC适切性评价的基础和前提是构建科学、合理的MOOC适切性评价指标体系。影响MOOC适切性的因素是多方面的，既与授课内容、授课方法、教学组织、教学设计、媒体技术运用和教学资源等因素息息相关，又与评价主体、评价形式和课程管理等因素有关，需要构建多维多层次的评价指标体系。姚凯等在研究MOOC评价模型过程中，将课程内容、教学设计、界面设计、媒体技术和课程管理作为一级评价指标，下设23个二级评价指标[3]，二级指标数量偏多；童小素等构建的MOOC质量评价指标体系中，将课程内容、教学设计和学习支持作为一级评价指标，下设26个二级评价指标[4]，二级指标数量过多、计算复杂，且部分二级指标有相关性；邱均平等在研究MOOC质量评价中，将教学内容、教学资源、教学效果和教学技术作为一级评价指标，下设14个二级评价指标[2]；冯雪松等在研究MOOC评价体系中，将内容的组织、内容的呈现、讲授方法和课程的执行与推广作为一级评价指标，下设18个二级评价指标[6]。综上可知，不同的学者从不同的角度出发构建了不同的评价指标体系，但课程内容或教学内容始终是评价指标体系中的重要组成部分；通过MOOC建设实践可知，教学方式和技术手段的合理运用是提高MOOC质量的重要前提，此外，评价方式是否科学合理直接影响学习的积极性、公平性和学习效果检验的有效性，进而影响MOOC建设质量，与课程管理和教学效果具有一致性。通过对比分析现有评价指标体系的优缺点，并咨询多位MOOC开发专家和学者的意见建议，本研究拟从教学内容、教学方式、评价方式和技术手段4个维度评价MOOC的适切性，最终构建如图1所示的多层次的MOOC适切性评价指标体系。
进行MOOC适切性评价，需要确定适切性评价等级，本文将适切性优劣划分为5个等级，分别为：“好”“较好”“一般”“较差”和“差”，为了适于区间层次分析法评价MOOC适切性，需要采用区间数方法对适切性等级进行量化，“好”“较好”“一般”“较差”和“差”5个适切性等级对应的区间数分别为：[0.8，1.0]、[0.6，0.8]、 [0.4，0.6]、 [0.2，0.4]和[0，0.2]。
三、基于IAHP确定评价指标区间数权重 在研究评价、评估或决策问题中，计算合理有效的指标权重是进行评价、评估或决策的关键前提，计算指标权重的方法主要有主观赋权法、客观赋权法和组合赋权法。主观赋权法主要靠专家的知识结构、实践经验和能力水平得出权重，得到的指标权重主观性强，且与指标期望值相契合，所以在计算指标的权重方面应用较为广泛。MOOC适切性评价指标体系为多维度、多层次体系，并且各级评价指标都属于定性指标，不便利用客观赋权法计算评价指标的权重值，这种情况下，利用主观赋权法计算定性评价指标的权重则具有可行性和合理性。由于经验能力存在差异，不同专家在确定指标权重方面考虑的角度不同，给出的指标权重往往是一个区间数，基于此，作者拟采用IAHP计算MOOC適切性评价的区间数权重。
（一）区间数和IAHP的基本原理
五、评价实例
本文拟针对李五洲、汪基德所发表的“基于模糊综合评价法的MOOC适切性研究”（《电化教育研究》2016年12期）一文中某高校现代教育技术MOOC课程的同一案例数据[5]，利用本研究提出的MOOC适切性综合评价模型开展评价研究。通过两种评价结果的对比分析，以客观检验该评价模型是否合理有效。
算例中邀请了40名学习该MOOC课程的学生和10位MOOC设计开发专家，对该MOOC课程适切性的20个二级指标进行定性评价，得出的定性评价结果见表3。依据MOOC适切性评价模型的方法步骤，用区间数和群决策方法将定性评价结果转换为规范化的区间数评价值，见表4。其中，Iij表示第i个一级指标下的第j个二级指标。
根据MOOC适切性综合评价模型中提出的指标聚合公式，采用MATLAB6.5软件编写简易的区间数指标聚合程序，经程序运算便可得到4个一级定性评价指标的区间数评价值分别为[0.56，0.78]、[0.48，0.76]、[0.31，0.52]和[0.58，0.84]，将4个一级指标进一步向上聚合，便可得到该现代教育技术MOOC的适切性区间数评价值为[0.47，0.79]。为了便于分析，取MOOC适切性区间数评价值的中间值0.63，与语言评价值相比较可知，该现代教育技术MOOC的适切性评价结果为“较好”，但处于“较好”的下限，偏向于“一般”。采用同样的方法，可运算得到教学内容、教学方式、评价方式和技术手段的评价值中间值分别为0.67、0.62、0.415和0.71，与其相对应的适切性评价等级分别为“较好”“较好”“一般”和“较好”。评价结果表明教学内容、教学方式和技术手段具有的适切性较好，相对来说，技术手段的适切性要好一些，教学方式的适切性虽然为“较好”但却偏向于“一般”，评价方式的适切性虽然处于“一般”的区间但却偏向于“较差”，需要重点关注和改进。从表4给出的二级指标区间数评价值可以判断出，一级指标教学内容下的组织方式、呈现方式和难易程度三个二级指标基本上与“较好”的等级相吻合，说明该MOOC课程在这3个方面具有较好的适切性；而容量大小和辅助材料的区间数评价值与“一般”的评价等级相接近，说明该MOOC课程在这两个方面的适切性有待进一步加强。同理，可以分析出教学方式、评价方式和技术手段三个一级指标下各二级指标的适切性优劣。上面计算得到的定性评价结论与李五洲、汪基德采用模糊综合评价法得出的定性评价结论相一致，也与专家给出的主观定性评价结论基本一致，而李五洲、汪基德采用的模糊综合评价方法仅计算出了MOOC适切性优劣的隶属度，未能计算出MOOC适切性的具体评价值，这表明本研究所构建的MOOC适切性综合评价模型是合理有效的，且比以往的评价方法更加科学有效。
六、结 语
MOOC适切性评价是衡量MOOC适切性优劣、优化MOOC适切性和提高MOOC建设质量的关键手段。本文针对MOOC适切性评价指标所固有的不确定性、多层次性和区间性这些显著特点，采用区间层次分析法与区间数理论相结合的方法计算出了MOOC适切性定性评价指标的区间数权重，解决了以往MOOC适切性评价过程中指标权重计算方法的不足。然后提出采用区间数理论和专家群决策理论对5级定性评价值进行区间量化处理的方法，进一步构建了基于区间层次分析法和专家群决策的MOOC适切性评价模型。评价实例的计算结果充分说明，本研究所构建的MOOC适切性评价模型是合理有效的，为MOOC适切性评价和类似的复杂不确定多属性评价问题提供了一种新的方法，为开展军事航空英语MOOC建设提供了理论依据。
[参考文献]
[1] 赵明博. 国际教育信息大会举行部长级圆桌会[EB/OL].[2016-04-18].http：//www.chinanews.com/ sh/2015/05-24/7297304.shtml.
[2] 邱均平，欧玉芳. 慕课质量评价指标体系构建及应用研究[J]. 高教发展与评估，2015，31（5）：73-83.
[3] 姚凯，李思志，李艳红，等. MOOC评价模型研究[J]. 复旦教育论坛，2017，15（3）：65-71.
[4] 童小素，贾小军. MOOC质量评价体系的构建探究[J]. 中国远程教育，2017（5）：63-72.
[5] 李五洲，汪基德. 基于模糊综合评价法的MOOC适切性研究[J]. 电化教育研究，2016（12）：60-66.
[6] 冯雪松，于青青，李晓明. 在实践中探索MOOC评价体系[J]. 中国大学教学，2015（10）：72-82.
[7] 王洋. 基于区间数的数控机床综合性能评价[J]. 工具技术，2016（1）：60-63.
[8] 刘雅荣. 基于区间层次分析法的机械加工工艺方案评价研究[J]. 机械设计与制造，2015（12）：258-260.
[9] 李春强. 基于区间层次分析法的舰船动力系统方案评估研究[J]. 舰船科学技术，2016（13）：124-127.
[10] 徐泽水. 不确定多属性决策方法及应用[M]. 北京：清华大学出版社，2004：89.