评估维度量化方法研究

来源 :中国电化教育 | 被引量 : 0次 | 上传用户:jingjing2011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:评估维度是评估指标体系构建的基础及前提,是评估结果应用的重要依据,对整个评估活动的开展有着重要的作用。目前评估维度多基于专家法等以定性分析为主进行确立。该类方法及过程虽然易于接受,但定性分析的成分较多,评估维度之间相互关联且不稳定,进而导致评估指标体系不稳定、评估结果应用不理想。该文以基础教育信息化绩效评估维度为例,试图利用探索性因子分析的方法进行评估维度的量化研究。研究结果表明,利用该方法确立的评估维度更加稳定且独立,同时依据各维度对整体评估的贡献率,可以科学地指导评估指标体系的构建及评估结果的应用。
  关键词:基础教育信息化;绩效评估;评估维度
  中图分类号:G434 文献标识码:A
  一、问题的提出
  评估维度是评估指标体系构建的基础及前提,是评估结果应用的重要依据,对整个评估活动的开展有着重要的作用。目前,对于评估维度的研究,主要存在以下问题:
  (一)评估维度之间相互关联
  评估维度是考量评估对象的层面、侧面或角度。评估维度之间相互关联将会干扰评估结果的应用。因此,要求评估维度之间尽量弱相关或者无相关。评估维度的确立可以依据评估理论、评估模型,也可使用各种方法。目前,比较常见的方法是利用定性分析的方法,如:专家法、德尔菲法和层次分析法等。在这些方法中,虽然也有定量分析的成分,但均属于辅助地位。利用定性分析方法确定绩效评估维度的好处是操作过程简单、确立评估维度容易。但此类方法比较适合于简单的评估对象,对于教育信息化这样复杂的评估对象,由于评估项目较多、评估内容繁杂,很难主观判断各维度之间的相关性,容易造成评估维度之间相互关联。
  (二)评估维度不稳定
  评估维度的稳定性是保证评估指标体系信度的基础和前提,不以评估研究者的知识体系为转移。评估维度确定过程可分为自上而下的维度分解过程和自下而上的维度降解过程。维度分解的方法常见的有层次分析法和关键成功因素法,维度降解的方法常见的有主成分分析法和因子分析法。目前,基础教育信息化绩效评估指标体系构建多选择维度分解的方法。维度分解的方法通常把研究对象看作一个系统,利用逻辑推理,比较判断,综合分析的思维过程进行决策,使复杂系统逐级分解。该方法符合人类思维习惯,易于人们接受。但当群体或个体不尽相同时,分解的结果会有所不同,这样导致评估维度不稳定。而维度降解的方法是完全基于量化的方法,各级指标的产生过程较少被人工干预,因而评估维度较稳定、生命周期长。
  二、研究方法与过程
  本研究的目的在于完全用量化的方法确定基础教育信息化绩效评估的维度。完全量化的方法遵循了自下而上的维度降解理念,主要包括主成分分析法和因子分析法。两种方法均是使用少数不相关的综合变量尽可能全面地反映多个原始变量的信息,既消除了原始变量之间的相关性,又提高了可信度。不同的是,主成分分析法中的综合变量是原始变量的线性组合,而因子分析法中的综合变量是基于原始变量之间的复杂关系,通过对原始变量进行分解而得到的公共因子。因子分析法包括探索性因子分析法和验证性因子分析法。探索性因子分析法主要用于找出影响原始变量的公共因子个数,以及公共因子和各原始变量之间的相关程度,以试图揭示出错综复杂原始变量的内在结构。验证性因子分析法是依据一定的理论,对原始变量和公共因子之间的关系做出合理的假设,并对这种假设进行统计检验的现代统计方法。验证性因子分析主要用于检验事先定义的因子模型拟合实际数据的能力,以试图验证原始变量和公共因子之间的关系是否与预先建立的假设一致。
  本研究中未对原始变量和公共因子之间的关系做出假设,仅是想探索影响基础教育信息化绩效水平的原始变量的公共因子个数,以及公共因子和各原始变量之间的相关程度,进而揭示出原始变量的内在结构及确定公共因子,即确定基础教育信息化绩效评估的维度。因此,本研究选择探索性因子分析法确定基础教育信息化绩效评估维度更为适合。下面将按照探索性因子分析过程展开研究。
  (一)收集原始变量
  收集原始变量通常采用抽样的方法,具体可使用量表或问卷进行抽样。本研究选择问卷进行抽样。
  1.基础教育信息化绩效水平调查问卷编制
  首先,明确问卷的调研目的和科学可行的调研内容。本次问卷的调研目的是用于收集影响基础教育信息化绩效水平的原始变量。调研内容是基础教育信息化的绩效水平。为此,根据近年来国内外基础教育信息化绩效研究的相关文献,分析基础教育信息化系统的构成要素及要素间的相互关系,分析基础教育信息化绩效的内涵及考察内容,进而获得影响基础教育信息化绩效水平的原始变量。
  其次,采用德尔菲法对原始变量做进一步的修正、裁减及合并。德爾菲法实施过程先后包括:成立专门工作小组、选取咨询专家成员、制定征询方案、发放和回收征询表、统计分析征询结果等。经过专家多轮征询,确定最终的影响基础教育信息化绩效水平的原始变量。
  最后,遵循问卷编制的原则及注意事项,将影响基础教育信息化绩效水平的原始变量转换为问卷题项。依据数据采集对象不同,将问卷分为校长问卷、信息化管理者问卷、信息技术教师问卷、学科教师问卷及学生问卷五类。
  2.基础教育信息化绩效水平调查问卷施测
  首先,采用区域抽样与分层抽样相结合的调查方法,在吉林省长春市市内及周边选取12所学校作为本次调查样本,其中包括3所小学、8所初中及1所高中。
  其次,发放及回收问卷。问卷总共发放1029份,其中校长问卷16份、信息化管理者问卷16份、信息技术教师问卷37份、学科教师问卷240份、学生问卷720份。问卷回收总共1000份,其中校长问卷16份、信息化管理者问卷16份、信息技术教师问卷37份、学科教师问卷228份、学生问卷703份。回收问卷中学科教师问卷作废2份、学生问卷作废14份。问卷回收率达97%,问卷有效率达98.4%。   最后,问卷编码和录入。选择IBM SPSS Statistics 19.0软件,将5套问卷分开进行编码录入。
  (二)初始检验
  构造相关矩阵,对问卷的信度和效度进行检验,用于确定是否可以进行因子分析。
  1.基础教育信息化绩效水平问卷信度检验
  信度反映问卷测量所得到结果的一致性和稳定性。信度检验常用方法包括重测信度法、折半信度法和Cronbach’s Alpha信度系数法。本研究选择Cronbach’s Alpha信度系数法进行信度检验。一般而言,信度系数0.6以下为不可信;信度系数在0.6和0.7之间为可接受;信度系数在0.7和0.8之间为较好;信度系数在0.8以上为非常好。本次调研总共回收有效问卷984份。对这些问卷进行信度检验。检验结果如表1所示。5套问卷的Cronbach’s Alpha信度系数和基于标准化项的Cronbach’s Alpha信度系数均在0.8以上,由此可知,问卷的信度非常好,问卷的稳定性和内在一致性非常高。
  2.基础教育信息化绩效水平问卷效度检验
  效度反映问卷测量所得到结果的准确性和有用性。一般可通过内容效度分析和结构效度分析得出问卷效度。5类问卷在编制过程中使用了德尔菲法,已经由专家对测验项目与所涉及的内容范围进行了符合性判断。因此,问卷的测量内容及范围的科学性和准确性已经得到验证。结构效度分析可通过计算简单相关系数矩阵、计算逆影像相关矩阵、巴特利特球形度检验和KMO检验等方法进行。本研究使用KMO和巴特利特球形度检验。一般而言,KMO检验时KMO值0.6以下不适合进行因子分析;KMO值在0.6和0.7之间可勉强进行因子分析;KMO值在0.7和0.8之间可进行因子分析;KMO值在0.8和0.9之间适合进行因子分析;KMO值在0.9以上非常适合进行因子分析。对于巴特利特球形度检验时,如果巴特利特球形度检验的统计量数值较大,且对应的相伴概率值小于设定的显著性水平,则适合进行因子分析。本研究中,由于校长问卷、信息化管理者问卷及信息技术教师问卷数量过小,不适合进行结构效度分析,故只对学科教师问卷及学生问卷进行结构效度分析。分析结果如表2所示。
  由表2的数据可知,学科教师问卷的KMO值为0.914,学生问卷的KMO值为0.912。并且均通过了显著性水平为0.05的巴特利特球形度检验,基础教育信息化绩效水平问卷效度很好。由内容效度分析和结构效度分析可知,基础教育信息化绩效水平问卷非常适合进行因子分析。
  (三)提取因子并确定因子个数
  提取因子的方法有多种,如主成分分析法、最小二乘法、极大似然法及映像分析法等。本研究选择比较常用的主成分分析法提取因子。一般来讲,确定因子的个数可根据特征根的大小、因子的累计贡献率和碎石图三方面准则来综合考虑。当然,如果研究者有一定的假设,也可根据预先的假设来确定因子个数,但需要将统计结果与预设结合分析。对调查数据进行因子分析,提取特征值大于1的因子共6个,这6个因子的累计贡献率达到91.057%(如表3所示)。并且由碎石图(如右图所示)可知,这些因子中有6个占大部分变异性,曲线在因子6后开始逐步变直。说明其余因子仅占很小部分的变异性,可能并不重要。综合特征根的大小、因子的累计贡献率和碎石图三方面考虑,确定6个因子。
  (四)因子旋转
  由于初始因子综合性太强,难以找出具体实际意义,一般需要对因子进行旋转来简化因子载荷矩阵,进而合理解释因子结构。常用的因子旋转方法有很多,如最大方差法、最大四次方值法、最大平衡值法、直接Oblimin转轴法、Promax转轴法。其中前3种方法为正交旋转法,后两种为斜交旋转法。本研究使用最大方差值的正交旋轉法,旋转在20次迭代后收敛,旋转后的因子载荷矩阵如右表4所示。
  (五)解释因子结构
  经因子旋转后,使得每个原始变量仅在一个公共因子上有较大载荷,而在其他公共因子上的载荷中等或较小,这就保证了各公共因子之间弱相关,同时适合对各因子进行具体解释。
  公共因子一与教师信息化水平、管理者信息化水平、学生信息化水平、信息化资源建设水平、信息化资源应用水平、信息化人才保障程度6个原始变量紧密相关,主要反映师生信息化水平、信息化资源建设及应用水平、信息化人才保障程度,可将公共因子一定义为信息化资源匹配主体程度,其方差贡献率达到38.437%,是对整个绩效水平影响最大的公共因子。
  公共因子二与校园网络建设水平、电脑设备建设水平、信息化教室建设水平、信息技术教学水平4个原始变量紧密相关,主要反映信息技术环境建设水平及信息技术教学水平,可将公共因子二定义为信息技术环境支撑教学程度,其方差贡献率达到16.985%,是对整个绩效水平影响第二大的公共因子。
  公共因子三与网站建设水平、管理信息系统建设水平两个原始变量紧密相关,主要反映信息化服务平台建设水平,可将公共因子三定义为信息技术环境提供服务程度,其方差贡献率达到12.447%,是对整个绩效水平影响第三大的公共因子。
  公共因子四与信息技术与课程整合水平、广播电视平台建设水平、基础设施应用水平3个原始变量紧密相关,主要反映信息技术应用于学科教学水平,可将公共因子四定义为信息技术与课程整合程度,其方差贡献率达到10.348%,是对整个绩效水平影响第四大的公共因子。
  公共因子五与信息化制度保障程度、信息化政策保障程度两个原始变量紧密相关。公共因子六与信息化资金保障程度、信息化机构保障程度两个原始变量紧密相关。虽然4个原始变量分别影响各自的公共因子,但均属于信息化发展的保障建设。因此,现将其合并为—个公共因子,可定义为信息化发展保障程度。合并前各自方差贡献率分别为7.449%、5.391%,是对整个绩效水平影响较小的两个公共因子。   三、研究成果
  对影响基础教育信息化绩效水平的原始变量进行探索性因子分析,揭示出原始变量的内在结构及公共因子,即确定了基础教育信息化绩效评估维度。评估维度共包含5个,分别是信息化资源匹配主体程度、信息技术环境支撑教学程度、信息技术环境提供服务程度、信息技术与课程整合程度、信息化发展保障程度,各维度的评估内容如下:
  (一)信息化资源匹配主体程度维度
  与维度一紧密相关的原始变量包括:教师信息化水平、管理者信息化水平、学生信息化水平、信息化资源建设水平、信息化资源应用水平、信息化人才保障程度。其评估的内容主要有信息化主体的信息意识、信息化主体的信息技术知识、信息化主体的信息技术能力、信息化资源的建设水平、信息化资源的应用水平、信息化资源的满意程度等。
  (二)信息技术环境支撑教学程度维度
  与维度二紧密相关的原始变量包括:校园网络建设水平、电脑设备建设水平、信息化教室建设水平、信息技术教学水平。其评估的内容主要有校园网带宽、校园网覆盖率、师生电脑拥有率、电脑联网率、信息化教室配置级别、信息技术环境的满意程度、信息技术教学的满意程度等。
  (三)信息技术环境提供服务程度维度
  与维度三紧密相关的原始变量包括:网站建设水平、管理信息系统建设水平。其评估的内容主要有网站规模、网站服务等级、管理信息系统的种类、管理信息系统的功能级别等。
  (四)信息技术与课程整合程度维度
  与维度四紧密相关的原始变量包括:信息技术与课程整合水平、广播电视平台建设水平、基础设施应用水平。其评估的内容主要有校园网功能发挥程度、电脑设备功能发挥程度、广播电视平台功能发挥程度、信息化教室设备功能发挥程度、信息技术应用于学科教学的满意程度等。
  (五)信息化发展保障程度维度
  与维度五紧密相关的原始变量包括:信息化制度保障程度、信息化政策保障程度、信息化资金保障程度、信息化机构保障程度。其评估的内容主要有信息化制度健全程度、信息化政策执行程度、信息化资金投入程度、信息化机构职能健全程度等。
  四、结论
  在基础教育信息化绩效评估的研究领域内,比较典型的研究成果有郭伟刚等的《学校教育信息化绩效评价研究》、解月光的《农村基础教育信息化绩效评估研究》。郭伟刚等的研究成果中包含的评估维度有组织与管理、基础设施与公用管理平台、教育教学资源建设与应用、信息化应用及信息化人才,该研究成果是在参考国内外专家学者的研究成果基础上确立;解月光的研究成果中包含的评估维度有信息化设施建设水平、信息化教学资源建设水平、信息化应用水平、信息化保障建设水平、信息化主体发展水平,该研究成果同样是在参考国内外专家学者的研究成果基础上确立。将本研究确立的评估维度及内容与上述研究成果比较分析发现,本研究的评估内容与领域内的典型成果类似,但评估维度不同。郭伟刚和解月光的研究成果主要对评估对象的结构进行分析,在综合比较领域内典型研究成果基础上确立评估维度。这类评估维度主要关注的是基础教育信息化系统构成要素的发展水平,测量结果反映的是基础教育信息化水平发展现状。本研究确立的评估维度打破直接从评估对象的结构分析确定评估维度的研究思路,从影响复杂研究对象发展水平的原始变量入手,通过对各原始变量之间的关系分析以及各原始变量与公共因子的相关程度分析而揭示出评估对象内部难于主观推断的结构,进而确定评估维度。此种方法确定的基础教育信息化绩效评估维度更多关注的是基础教育信息化绩效结构要素的均衡、有效及优质发展,测量结果反映的是绩效发展均衡程度及绩效整体发展程度。同时,在利用探索性因子分析法确定评估维度的过程中,较少被人工干预,故而确立的评估维度更加稳定、独立。另外,探索性因子分析法确定评估维度后可以得出各维度对整体评估的贡献率,这些数据可以科学地指导评估指标体系的构建及评估結果的应用。
其他文献
问前台服务员为什么还保留着李大伦的题词,她压低声音说:经理本来也说要换掉的,但后来有人说这是特色,说不定一些客人觉得很好玩就进来住宿了  走进湖南郴州,发现这个城市与其他城市并无二致,特色也并不明显。但心里总是不免有些好奇,那当然是因为震惊全国的连环腐败大案就曾经在这里粉墨上演。    为什么还保留着李大伦的题词    住宿的宾馆临河,记者晚上出来散步,路遇一位大爷坐在椅子上闭目养神,就主动跟他攀
深秋的中国,天气依然有些暖和。对中国7000多家制鞋企业来说,感受到的,却只有透骨的寒意。  从去年6月欧盟正式宣布对中国的两种劳保鞋进行反倾销调查开始,中欧之间的鞋业大战已经持续一年多时间了。2006年10月5日,欧盟理事会25个成员国以13比12的微弱优势,通过了对中国产皮鞋征税的终裁提案,中国涉案企业中除1家因获得市场经济待遇被征收9.7%的反倾销税外,其余企业均被课以16.5%的税。反倾销
编者按:在全球一体化的背景下,创新驱动发展和支持大众创新创业的中国理念已经得到了国际社会的普遍认可,创新创业教育作为服务创新型国家建设、培养学生创新精神和实践能力的重要举措,也已得到了世界各国的高度重视。该文通过访谈澳大利亚南昆士兰大学科林。琼斯博士,对澳英美等世界多国与中国的创新创业教育的发展趋势、教育理念和政策环境等进行了比较研究,进一步厘清了其概念内涵、教师成长策略和人才培养路径等问题,对“
一  简朴的院落,健朗的老太太,灰头巾,蓝布围裙,脸上的皱纹和簸箕的纹路交相辉映。夕阳照过来,谷子上铺满金黄,上上下下颠颠簸簸中,尘杂飞去,谷子变得粒粒分明。  到了皖西的乡村,“妇人簸谷图”随处可见,这是画家作品之外生活的杰作。但我家山墙上挂着的那只簸箕,它只钟情于它的主人——我的母亲,一个粗手大脚的妇人。  簸箕是用竹篾编成的,用它簸掉谷物里的瘪子、壳子和杂草,也用来晾晒土地上的大豆、花生、辣
我们应该利用太阳来培植我们的能源,就像我们的祖先曾经利用它来种植食物一样  从气候变化到阴晴不定的油价,所有的迹象都表明:一场全球性的能源危机即将来临。这场迫在眉睫的挑战,意味着人类不能再忽视太阳每天通过光合作用为我们提供的取之不尽的能源。太阳能使植物吸收碳性气体,通过这样的路径它不仅制造氧气,还制造出其他物质一动物王国的食物和机器所消耗的能源。  从新石器时代开始,人类就开始培育这些“生物质”作
摘要:青少年学生作为新一代中华优秀传统文化的继承者与弘扬者,其对中华优秀传统文化的理解与认同程度决定着我国传统文化创新性发展与创造性转化的后继力。该研究采用分层抽样的思路,利用自编的情境判断测验量表对61所学校的6874名四年级及其以上小学生中华优秀传统文化的认同现状进行了调查,发现:小学生在文化身份认同维度上的得分最高;文化身份认同与文化符号认同及价值文化认同之间呈现强相关;女生對中华优秀传统文
编者按:Mike Ribble博士是美国国际教育技术协会(ISTE)数字公民专业学习网络(PLN)创始人,担任其第一任联合主席。他还是美国数字公民委员会以及数字公民国际委员会成员。现任是堪萨斯州Manhattan-Ogden学区技术部主任,乔治亚洲Kennesaw州立大学兼职教授,同时受雇于美国各地区作技术顾问:他出版了专著《学校中的数字公民》和《抚养一个数字儿童》,撰写合著文章20余篇,受邀于加
突尼斯等一些发展中国家为防止两极分化的弊端,“制造”了一个中产阶级,使之成为社会的主导力量    从一些国家的经济社会发展状况来看,经济发展从不平衡到趋于均衡,分配收入从两极分化到缩小差别,市场竞争从行业垄断到公平自由,有其内在的矛盾规律。顺应并进而掌握这个规律,就会取得促进社会和谐发展的成效,反之则将造成社会发展的失衡甚至混乱。  中国正处于经济快速发展时期,也是各种社会矛盾的上升期。“他山之石
曹广福教授为首届(2003年)百名国家级教学名师之一,现为广州大学数学与信息科学学院院长,长期从事基础数学及运筹与控制研究工作,在国内外有重要影响的期刊上发表了大量论文,主持过国家自然科学基金、教育部博士点基金、教育部骨干教师资助计划等多项国家级与省部级科学研究基金项目.并且连续主持了三届国家级创建名牌课程项目,及省、市级精品课程建设项目,主编国家“十五”、“十一五”规划教材,2014年获得首届国
摘要:从国际比较的视角梳理网络学习环境对学习者身心健康影响的文献,有助于把握研究的基本脉络、研究热点和发展路径,有助于比较和借鉴国际同行研究经验,从而发现新的研究问题,推进重要主题的深入研究和实践。通过对1995-2016年间刊发于SSCI和CSSCI期刊中关于网络学习环境对学习者身心健康影响的文献,进行高频关键词因子分析、聚类分析、多维尺度分析和关系结构分析,以了解高频关键词的统计数据和关系结构