论文部分内容阅读
[摘要]随着教育信息化的发展,精品课程建设在我省高校得到了快速发展。作为一种知识和信息量密集型的教育技术产品,现有精品课程及其网络资源在教学有效性和可用性方面还存在缺失。精品课程可用性评价是我国迫切需要进行研究的领域,而评价的难点之一就是如何构建评价指标体系。本文首先描述了辽宁省精品课程发展状况,阐述可用性指标体系构建的重要性,并在此基础上采用结构方程模型构建了辽宁省精品课程可用性指标体系,以期能够为辽宁省精品课程建设提供一定的参考。
[关键词]精品课程 可用性 指标体系 结构方程模型
精品课程建设是“高等学校教学质量与教学改革工程”的重要组成部分。为提高高等学校的教育质量,辽宁省教育厅自2003年起全面启动和实施“高等学校精品课程建设工程”。经过7年之间努力,辽宁省精品课程建设取得了巨大的成就,从数量到质量,从学科门类到地区分布都体现较高水平。由表1可以看出辽宁省历年通过评审的国家级与省级精品课程门数。随着全国精品课程建设工作的深入开展,辽宁省各校建设和申报的积极性很高,竞争也越来越激烈,对精品课程建设的理论与实践的研究也越来越多。
表1:辽宁省历年精品课程数量
目前关于精品课程建设、理论和评价等的文章相当多,但有关精品课程的应用效果研究的文章很少。导致精品课程建设的研究与实践存在一些误区,不利于精品课程研究的深入,难以对精品课程建设形成科学的指导。精品课程建设的最终目的是提高高校教育质量,实现优良教育资源的有效共享,学习者能有效应用教育资源。评价辽宁省精品课程可用性现状,从而提高精品课程可用性是实现这一目的的基础。本文采用结构方程构建辽宁省精品课程可用性指标体系对辽宁省精品课程未来建设与评价有重要意义。
一、精品课程的可用性内涵
可用性最早由Nielson提出,定义为“评价用户界面易于使用的质量属性”[1]。80年代中期出现了“对用户友好”的口号,这个口号被转换成人机界面的“可用性”概念。人们给可用性下了许多定义,其中可用性在国际标准ISO9241《带有视频显示终端的办公室工作的人机学要求》(Ergonomic requirements for office work with visual display terminals)中被表述为:一个产品能被指定用户在指定使用情境中,有效地、有效率地、满意地达到指定目标的程度[2]。其中规定可用性的三个因素的含义如下:有效(Effectiveness):用户达到指定目的的精确性和完全性;效率(Efficiency):用户精确完全达到目的所耗费的资源;满意度(Satisfaction):使用舒适和可接受程度。
将可用性扩展到精品课程应用上,参照教育部相关文件,笔者认为,所谓精品课程的可用性是指学习者在精品课程网络资源学习过程中有效地、高效地、满意地达到教学目标的能力。可用性在很大程度上依赖于工具的功能是否能满足使用者需求的一系列因素。其主要特征包括以下几个方面:具有透明的学习环境,方便用户的教与学活动;有高效的指导与通信过程;支持学习过程的灵活性和创造性;促进学习者之间、师生之间的交互活动[2]。
目前对网络课程可用性评价的标准,国外主要有两个标准,e-learning Certification Standard和e-learning Courseware Certification;国内标准,主要是北京师范大学制定的网络课件质量认证标准,而本文研究的辽宁省精品课程可用性与以往的网络课件可用性有所不同。本文采用结构方程模型來构造辽宁省精品课程可用性指标体系。
二、结构方程模型基本原理
结构方程模型(Structural Equation Modeling,简称SEM)的思想起源于Sewll Wright在20世纪20年代提出的路径分析概念。SEM是应用线性方程系统表示显变量与潜变量(难以直接测量的变量),以及潜变量与潜变量之间关系的一种统计方法。通过为潜变量设定显变量,用显变量之间的关系来研究潜变量之间的关系[3]。
结构方程模型假定一组潜变量之间存在因果关系,潜变量可以分别用一组显变量表示,是某几个显变量的线性组合。通过验证显变量之间的协方差,可以估计潜变量之间的路径系数,从而在统计上检验所假设的模型对所研究的过程是否合适。如果证实所假设的模型合适,就可以确定潜变量之间关系的假设是合理的。
一般来说,结构方程模型可由3个方程表示[4]:
X=∧Xξ+δ ①
Y=∧Yη +ε ②
η=Bη +Γξ+ζ ③
其中:X——外生显变量组成的矩阵;
Y——内生显变量组成的矩阵;
ξ——外生潜变量组成的矩阵;
η——内生潜变量组成的矩阵;
∧X——外生显变量与外生潜变量之间的关系,是外生显变量在外生潜变量上的因子负荷矩阵;
∧Y——内生显变量与内生潜变量之间的关系,是内生显变量在内生潜变量上的因子负荷矩阵;
δ、ε——测量误差项,反映了方程中未能被解释的部分;
B——内生潜变量间的关系;
Γ——外生潜变量对内生潜变量的影响;
ζ——结构方程的残差项,反映了方程中未能被解释的部分。
方程①和②是测量模型,表示潜变量(ξ,η)是如何通过显变量(X,Y)间接测量的。方程③是结构模型,表示潜变量之间的因果关系。
结构方程模型有如下特点:
(1)可同时考虑及处理多个因变量;
(2)允许自变量和因变量项含有误差;
(3)允许潜变量由多个显变量构成;
(4)可构建潜变量之间的关系,并估计模型与数据之间的吻合程度。
三、精品课程的可用性评价指数模型的构建
(一)指标体系的构建及问卷设计
在一个三级指标体系中,抽象建构和研究者定义的维度是结构方程的潜变量,无法直接测量。潜变量通过对应的指标来测量,测量指标就是显变量。由此,可以根据制定的假设指标体系构建线性模型,最终通过结构方程模型分析方法对模型进行检验,并分配指标权重。
在设计指标体系之初,笔者设计了由8个开放性问题构成的问卷,调查学生对于高校精品课程可用性所关心的问题。共发放了120份问卷,通过分析,笔者总结出20个指标。然后根据指标优化原则,保留了17个指标。其中有2个指标对可用性指标进行整体评价,将剩下15个指标划分为6个维度,命名为:学习导航、学习监控、教学交互、学习帮助、资源检索、链接与程序响应。由此构成了辽宁省精品课程可用性评价指标体系(如表2所示)。
表2:辽宁省精品课程可用性评价指标体系
(二)结构方程模型的构建
在构建辽宁省精品课程可用性评价指标体系的基础上,笔者构建了辽宁省精品课程可用性评价指数的假设模型(以下简称“假设模型”),如图1所示。
图1:假设模型
ξ1(外因潜变量)代表评价指数,η1至η6(内因潜变量)分别代表学习导航、学习监控、教学交互、学习帮助、资源检索、链接与程序响应,γ11、γ21、γ31、γ41、γ51、γ61代表外因潜变量与各个内因变量的关系系数;Y1至Y15代表15个显变量,λ1至λ15代表相应的因子负荷系数(如表2所示)。
所构成的结构模型次体系转化成向量形式如下:
所构成的测量模型次体系转化成向量形式如下:
(三)实测数据的收集及初步分析
问卷采用李克特5级量表,按照重要性对指标进行评分,每个指标为5个分值,5表示完全同意,4表示同意,3表示一般,2表示不太同意,1表示完全不同意。调查辽宁省精品课程可用性情况,主要研究国家级与省级精品课程可用性状况。依据各高等学校在辽宁省的分布情况,笔者选择了9所高等院校作为此次的抽样单位,分别是东北大学、辽宁大学、沈阳大学、中国医科大学、沈阳农业大学、沈阳师范大学、沈阳工业大学、大连理工大学、东北财经大学。2011年1月通过现场发放和网上发放两种形式调查,发放547份,回收508份,回收率92%,其中有效问卷496份,有效率达90%。受访者基本情况如下:男性61.76%,女性38.24%;学历:本科36.27%,研究生63.73%;是否使用过精品课程网络资源:是71.57%,否28.43%。
一般认为总量表的α信度系数在0.9以上,问卷可靠性很强;0.8以上,问卷是可以接受的;0.7以上问卷量表应进行较大修订。如果低于0.7,量表就需要重新设计。使用SPSS17.0计算出的结果如图2所示,问卷总量表可靠性信度系数α值0.860,表明问卷非常可靠。
图2:信度系数图
(四)模型的检验
在收集实测数据之后,笔者采用AMOS7.0版软件作为建立结构方程模型的工具,选用了极大似然估计法作为模型估计方法。在对模型的拟合度进行评估时,主要选取以下的指标:拟合优度的卡方检验χ2,近似误差的均方根RMSEA、规范拟合指数NFI、不规范拟合指数NNFI、简约规范拟合指数PNFI、比较拟合指数CFI、增长拟合指数IFI、拟合优度指数GFI、调整的拟合优度指数AGFI、简约拟合优度指数PGFI[6]。各拟合指数通过标准以及假设模型的拟合结果如表4所示。假设模型的NFI=0.912、CFI=0.937、IFI=0.934、PNFI=0.528、PGFI=0.630、AGFI=0.894、GFI=0.959、χ2/df=2.735,其中只有AGFI=0.894未达到拟合标准,但接近标准值。近似误差均方根RMSEA是检验模型拟合度的重要指标,一般认为:当RMSEA≤0.05时,表示“良好拟合”;在0.05—0.08之间,视为“算是不错的拟合”;0.08—0.10之间,则是“中度拟合”;大于0.10,表示不良拟合。假设模型的RMSEA为0.071,其拟合程度算不错,说明问卷和模型具有较好的建构效度。
图3:AMOS结构分析图
表4:拟合标准和模型拟合结果
五)模型的應用
根据假设模型的验证性高阶因子分析所得因子负荷大小如图4所示,可以对划分的维度和指标进行权重分配。
图4:验证后的假设模型
例如维度“教学交互η3”中,“人机交互Y7”和“教师及时评价Y8”的因子负荷分别是λ7=1.18、λ8=1.59,则指标“人机交互”的权重为1.18/(1.18+1.59+1.00)≈0.31,指标“教师及时评价”的权重为1.59/(1.18+1.59+1.00)≈0.42。利用相同的计算方法,可以计算得出其它指标的权重。同理,可以计算各个维度的权重,在此不再赘述。
在本文构建的三级体系中,抽象建构“评价指数”(一级指标)分为6个维度(二级指标),每个维度由相应的测量指标(三级指标)进行测量。利用结构方程模型分析方法和AMOS软件对各个指标和维度进行权重配置后,可以实现对抽象建构进行评价、比较的目的。
四、结论
运用结构方程模型分析方法对构建的假设模型进行检验,所有的拟合指标基本达到了通过标准。模型的误差均方根RMSEA等于0.071,说明模型的拟合程度不错。因此,可以认为构建的辽宁省精品课程可用性评价指标体系具有一定的合理性。本次调查范围涉覆盖辽宁省9所大学,涉及文科、理科、工科、药科、农科、医科等学科,说明调查样本具有一定代表性,所构建的指标体系具有广泛适用性。
由于条件所限,本次研究样本量不够大,对于所构建的评价指数模型仅用一次的调查数据进行检验。因此,仍然需要样本量更大的实测数据对构建指标体系的科学性进行跟踪研究。
本文系辽宁省教育科学“十一五”规划课题(课题编号:JG09DB075)、全国工程硕士专业学位教育指导委员会课题(课题编号:2009-ZX-016)的阶段性成果。
[参考文献]
[1]Nielsen,J.Usability engineering[M].San Diego,CA:Academic Press,1993.
[2]EN ISO 9241-16-1999,Ergonomic Requirements for Office Work with Visual Display Terminals(VDTs)-Part 16:Direct Manipulation Dialogues ISO 9241-16:1999;IncorporatingCorrigendum November 1999.
[3]夏洪文,郑哲,李巧丹.国家精品课程的可用性研究[J].高等工程教育研究,2008,(6):103-107.
[4]Sik-Yum Lee,Xin-Yuan Song.Application of Structural Equation Models to Quality of Life[J].Structural Equation Modeling, 2005,12(3) :435 - 453.
[5]Pomykalski James J.,Dion Paul, Brock James L et al.A Structural Equation Model for Predicting Business Student Performance[J] .Journal of Education for Business,2008,83(3):159-164.
[6]吴明隆.结构方程模型——AMOS的操作与应用[M].重庆:重庆大学出版社,2009.
(作者单位:1.东北大学工商管理学院副教授 辽宁沈阳,2.东北大学工商管理学院硕士研究生 辽宁沈阳)
[关键词]精品课程 可用性 指标体系 结构方程模型
精品课程建设是“高等学校教学质量与教学改革工程”的重要组成部分。为提高高等学校的教育质量,辽宁省教育厅自2003年起全面启动和实施“高等学校精品课程建设工程”。经过7年之间努力,辽宁省精品课程建设取得了巨大的成就,从数量到质量,从学科门类到地区分布都体现较高水平。由表1可以看出辽宁省历年通过评审的国家级与省级精品课程门数。随着全国精品课程建设工作的深入开展,辽宁省各校建设和申报的积极性很高,竞争也越来越激烈,对精品课程建设的理论与实践的研究也越来越多。
表1:辽宁省历年精品课程数量
目前关于精品课程建设、理论和评价等的文章相当多,但有关精品课程的应用效果研究的文章很少。导致精品课程建设的研究与实践存在一些误区,不利于精品课程研究的深入,难以对精品课程建设形成科学的指导。精品课程建设的最终目的是提高高校教育质量,实现优良教育资源的有效共享,学习者能有效应用教育资源。评价辽宁省精品课程可用性现状,从而提高精品课程可用性是实现这一目的的基础。本文采用结构方程构建辽宁省精品课程可用性指标体系对辽宁省精品课程未来建设与评价有重要意义。
一、精品课程的可用性内涵
可用性最早由Nielson提出,定义为“评价用户界面易于使用的质量属性”[1]。80年代中期出现了“对用户友好”的口号,这个口号被转换成人机界面的“可用性”概念。人们给可用性下了许多定义,其中可用性在国际标准ISO9241《带有视频显示终端的办公室工作的人机学要求》(Ergonomic requirements for office work with visual display terminals)中被表述为:一个产品能被指定用户在指定使用情境中,有效地、有效率地、满意地达到指定目标的程度[2]。其中规定可用性的三个因素的含义如下:有效(Effectiveness):用户达到指定目的的精确性和完全性;效率(Efficiency):用户精确完全达到目的所耗费的资源;满意度(Satisfaction):使用舒适和可接受程度。
将可用性扩展到精品课程应用上,参照教育部相关文件,笔者认为,所谓精品课程的可用性是指学习者在精品课程网络资源学习过程中有效地、高效地、满意地达到教学目标的能力。可用性在很大程度上依赖于工具的功能是否能满足使用者需求的一系列因素。其主要特征包括以下几个方面:具有透明的学习环境,方便用户的教与学活动;有高效的指导与通信过程;支持学习过程的灵活性和创造性;促进学习者之间、师生之间的交互活动[2]。
目前对网络课程可用性评价的标准,国外主要有两个标准,e-learning Certification Standard和e-learning Courseware Certification;国内标准,主要是北京师范大学制定的网络课件质量认证标准,而本文研究的辽宁省精品课程可用性与以往的网络课件可用性有所不同。本文采用结构方程模型來构造辽宁省精品课程可用性指标体系。
二、结构方程模型基本原理
结构方程模型(Structural Equation Modeling,简称SEM)的思想起源于Sewll Wright在20世纪20年代提出的路径分析概念。SEM是应用线性方程系统表示显变量与潜变量(难以直接测量的变量),以及潜变量与潜变量之间关系的一种统计方法。通过为潜变量设定显变量,用显变量之间的关系来研究潜变量之间的关系[3]。
结构方程模型假定一组潜变量之间存在因果关系,潜变量可以分别用一组显变量表示,是某几个显变量的线性组合。通过验证显变量之间的协方差,可以估计潜变量之间的路径系数,从而在统计上检验所假设的模型对所研究的过程是否合适。如果证实所假设的模型合适,就可以确定潜变量之间关系的假设是合理的。
一般来说,结构方程模型可由3个方程表示[4]:
X=∧Xξ+δ ①
Y=∧Yη +ε ②
η=Bη +Γξ+ζ ③
其中:X——外生显变量组成的矩阵;
Y——内生显变量组成的矩阵;
ξ——外生潜变量组成的矩阵;
η——内生潜变量组成的矩阵;
∧X——外生显变量与外生潜变量之间的关系,是外生显变量在外生潜变量上的因子负荷矩阵;
∧Y——内生显变量与内生潜变量之间的关系,是内生显变量在内生潜变量上的因子负荷矩阵;
δ、ε——测量误差项,反映了方程中未能被解释的部分;
B——内生潜变量间的关系;
Γ——外生潜变量对内生潜变量的影响;
ζ——结构方程的残差项,反映了方程中未能被解释的部分。
方程①和②是测量模型,表示潜变量(ξ,η)是如何通过显变量(X,Y)间接测量的。方程③是结构模型,表示潜变量之间的因果关系。
结构方程模型有如下特点:
(1)可同时考虑及处理多个因变量;
(2)允许自变量和因变量项含有误差;
(3)允许潜变量由多个显变量构成;
(4)可构建潜变量之间的关系,并估计模型与数据之间的吻合程度。
三、精品课程的可用性评价指数模型的构建
(一)指标体系的构建及问卷设计
在一个三级指标体系中,抽象建构和研究者定义的维度是结构方程的潜变量,无法直接测量。潜变量通过对应的指标来测量,测量指标就是显变量。由此,可以根据制定的假设指标体系构建线性模型,最终通过结构方程模型分析方法对模型进行检验,并分配指标权重。
在设计指标体系之初,笔者设计了由8个开放性问题构成的问卷,调查学生对于高校精品课程可用性所关心的问题。共发放了120份问卷,通过分析,笔者总结出20个指标。然后根据指标优化原则,保留了17个指标。其中有2个指标对可用性指标进行整体评价,将剩下15个指标划分为6个维度,命名为:学习导航、学习监控、教学交互、学习帮助、资源检索、链接与程序响应。由此构成了辽宁省精品课程可用性评价指标体系(如表2所示)。
表2:辽宁省精品课程可用性评价指标体系
(二)结构方程模型的构建
在构建辽宁省精品课程可用性评价指标体系的基础上,笔者构建了辽宁省精品课程可用性评价指数的假设模型(以下简称“假设模型”),如图1所示。
图1:假设模型
ξ1(外因潜变量)代表评价指数,η1至η6(内因潜变量)分别代表学习导航、学习监控、教学交互、学习帮助、资源检索、链接与程序响应,γ11、γ21、γ31、γ41、γ51、γ61代表外因潜变量与各个内因变量的关系系数;Y1至Y15代表15个显变量,λ1至λ15代表相应的因子负荷系数(如表2所示)。
所构成的结构模型次体系转化成向量形式如下:
所构成的测量模型次体系转化成向量形式如下:
(三)实测数据的收集及初步分析
问卷采用李克特5级量表,按照重要性对指标进行评分,每个指标为5个分值,5表示完全同意,4表示同意,3表示一般,2表示不太同意,1表示完全不同意。调查辽宁省精品课程可用性情况,主要研究国家级与省级精品课程可用性状况。依据各高等学校在辽宁省的分布情况,笔者选择了9所高等院校作为此次的抽样单位,分别是东北大学、辽宁大学、沈阳大学、中国医科大学、沈阳农业大学、沈阳师范大学、沈阳工业大学、大连理工大学、东北财经大学。2011年1月通过现场发放和网上发放两种形式调查,发放547份,回收508份,回收率92%,其中有效问卷496份,有效率达90%。受访者基本情况如下:男性61.76%,女性38.24%;学历:本科36.27%,研究生63.73%;是否使用过精品课程网络资源:是71.57%,否28.43%。
一般认为总量表的α信度系数在0.9以上,问卷可靠性很强;0.8以上,问卷是可以接受的;0.7以上问卷量表应进行较大修订。如果低于0.7,量表就需要重新设计。使用SPSS17.0计算出的结果如图2所示,问卷总量表可靠性信度系数α值0.860,表明问卷非常可靠。
图2:信度系数图
(四)模型的检验
在收集实测数据之后,笔者采用AMOS7.0版软件作为建立结构方程模型的工具,选用了极大似然估计法作为模型估计方法。在对模型的拟合度进行评估时,主要选取以下的指标:拟合优度的卡方检验χ2,近似误差的均方根RMSEA、规范拟合指数NFI、不规范拟合指数NNFI、简约规范拟合指数PNFI、比较拟合指数CFI、增长拟合指数IFI、拟合优度指数GFI、调整的拟合优度指数AGFI、简约拟合优度指数PGFI[6]。各拟合指数通过标准以及假设模型的拟合结果如表4所示。假设模型的NFI=0.912、CFI=0.937、IFI=0.934、PNFI=0.528、PGFI=0.630、AGFI=0.894、GFI=0.959、χ2/df=2.735,其中只有AGFI=0.894未达到拟合标准,但接近标准值。近似误差均方根RMSEA是检验模型拟合度的重要指标,一般认为:当RMSEA≤0.05时,表示“良好拟合”;在0.05—0.08之间,视为“算是不错的拟合”;0.08—0.10之间,则是“中度拟合”;大于0.10,表示不良拟合。假设模型的RMSEA为0.071,其拟合程度算不错,说明问卷和模型具有较好的建构效度。
图3:AMOS结构分析图
表4:拟合标准和模型拟合结果
五)模型的應用
根据假设模型的验证性高阶因子分析所得因子负荷大小如图4所示,可以对划分的维度和指标进行权重分配。
图4:验证后的假设模型
例如维度“教学交互η3”中,“人机交互Y7”和“教师及时评价Y8”的因子负荷分别是λ7=1.18、λ8=1.59,则指标“人机交互”的权重为1.18/(1.18+1.59+1.00)≈0.31,指标“教师及时评价”的权重为1.59/(1.18+1.59+1.00)≈0.42。利用相同的计算方法,可以计算得出其它指标的权重。同理,可以计算各个维度的权重,在此不再赘述。
在本文构建的三级体系中,抽象建构“评价指数”(一级指标)分为6个维度(二级指标),每个维度由相应的测量指标(三级指标)进行测量。利用结构方程模型分析方法和AMOS软件对各个指标和维度进行权重配置后,可以实现对抽象建构进行评价、比较的目的。
四、结论
运用结构方程模型分析方法对构建的假设模型进行检验,所有的拟合指标基本达到了通过标准。模型的误差均方根RMSEA等于0.071,说明模型的拟合程度不错。因此,可以认为构建的辽宁省精品课程可用性评价指标体系具有一定的合理性。本次调查范围涉覆盖辽宁省9所大学,涉及文科、理科、工科、药科、农科、医科等学科,说明调查样本具有一定代表性,所构建的指标体系具有广泛适用性。
由于条件所限,本次研究样本量不够大,对于所构建的评价指数模型仅用一次的调查数据进行检验。因此,仍然需要样本量更大的实测数据对构建指标体系的科学性进行跟踪研究。
本文系辽宁省教育科学“十一五”规划课题(课题编号:JG09DB075)、全国工程硕士专业学位教育指导委员会课题(课题编号:2009-ZX-016)的阶段性成果。
[参考文献]
[1]Nielsen,J.Usability engineering[M].San Diego,CA:Academic Press,1993.
[2]EN ISO 9241-16-1999,Ergonomic Requirements for Office Work with Visual Display Terminals(VDTs)-Part 16:Direct Manipulation Dialogues ISO 9241-16:1999;IncorporatingCorrigendum November 1999.
[3]夏洪文,郑哲,李巧丹.国家精品课程的可用性研究[J].高等工程教育研究,2008,(6):103-107.
[4]Sik-Yum Lee,Xin-Yuan Song.Application of Structural Equation Models to Quality of Life[J].Structural Equation Modeling, 2005,12(3) :435 - 453.
[5]Pomykalski James J.,Dion Paul, Brock James L et al.A Structural Equation Model for Predicting Business Student Performance[J] .Journal of Education for Business,2008,83(3):159-164.
[6]吴明隆.结构方程模型——AMOS的操作与应用[M].重庆:重庆大学出版社,2009.
(作者单位:1.东北大学工商管理学院副教授 辽宁沈阳,2.东北大学工商管理学院硕士研究生 辽宁沈阳)