论文部分内容阅读
远程培训项目质量评估的基本方法
培训质量评估一直是员工培训难以突破的瓶颈。对于远程培训质量评估，刚刚进入探索阶段，遇到的问题更多。从企业远程培训的业务运行环节看，应主要从以下方面着手：培训需求分析，培训课程学习，远程在线答疑、在线测试、培训跟踪评价。本文提倡要结合企业实际，围绕远程培训给受训者带来的实际效果，实施量化评价，提高评估工作的实效性与可操作性，推动工作的持续改善。
远程培训项目质量评估的指标体分类
随着远程教育事业的飞速发展，国内外对远程教育质量评估标准的研究也在不断深入。美国ASTD(American Society for Training & Development)制定的对网上课件和多媒体课件认证的标准，主要从可用性和教学设计两方面进行衡量。《E-Learning Certification Standards》是由美国教学设计与应用专业委员会建立的认证标准，从可用性、技术性和教学性三方面进行了评价。另外，还有ADL(Advanced Digital Learning)的网上教学设计和评估指南（ Guidelines for Design and Evaluation of Web-Based Instruction）制定的多媒体课件评估标准，内容大体相同。在国内，关于远程教育质量评估标准的研究也在逐步深入，清华大学组织开展了关于课程资源的评价标准的开发，北师大制定了网上课程的认证标准，中国科技大学开展了网上电子书评价标准的开发研究。但对于企业远程网络培训项目的质量评估，目前仍然没有一套明确的质量评价指标。本文结合国内外专家研究成果，将远程培训项目质量评价指标确定为以下几类：
（一）学习类指标：通过系统记录即可查找并进行分析的相关运行数据，主要包括：课程点击率，学员学习累计总时数、课程按时完成率、学员在线活跃程度等。
（二）考核类指标：通过检测、考试（核）所得出的具体数据，主要包括：作业（测试）完成率、参考率、合（及）格率、优秀率等。
（三）满意度指标：指通过对学员及相关方面组织的评价，评价人员对被评价对象的各类评价要素的打分及评价意见。主要包括：对课程的评价、对管理的评价、对辅导（指导）的评价、对培训效果的评价、对教学服务的评价、对网络功能的评价等。
（四）对具体问题的评价意见：这类评价可能无法通过打分给出具体结论，只是由评价者针对某环节、某个方面问题发表的意见、做出的结论、提出的建议等。这类评价可能无法直接通过具体分数统计体现，但对于发现及解决运行中存在的问题，持续提升工作水平有直接的指导与推动作用。
远程培训项目质量评估主要指标
（一）对课程的评价：对课程评价主要来自用人单位及学员两个方面。主要评价指标有：培训内容与学员需求吻合度、对课程主讲教师讲解的满意度、课程内容显示方式、课程结构合理性、课程画面清晰度、播放流畅程度、点击率（量）、发帖赞许次数、学员平均成绩，合格率、优秀率等。
（二）对辅导教师的评价：辅导教师评价主要来自远程教育中心（站）及参加培训的学员两个方面。主要的评价指标有：对辅导解答及时性的满意率，对辅导解答准确性的满意率，对教师辅导态度的满意率，辅导教师参加辅导工作出勤率，受学员指控或批评的次数，受学员赞许和表扬的次数，个人工作的准确率，相关业务合(协)作人员的满意率。
（三）对培训方案的评价，对培训方案的评价主要来自学员及用人单位两个方面。主要评价指标包括：课程内容知识点覆盖率（是否全面涵盖了学员全部应掌握的知识点），培训内容对学员的适用性，培训内容安排顺序的科学性、培训内容的深度、培训内容的广度，对总学时数的安排及开班时间安排是否合理，培训活动安排是否科学,相关措施能否保证培训质量,学员对课件表现形式的满意率。
（四）对教学管理的评价。对教学管理的评价主要来自由远程教育中心（站）及参训学员的反映。主要评价指标有：开班通知送达及时率，课程准时完成率，作业（测试）完成率、参考率，学员对培训活动组织满意率，学员对课件满意率，教师解释答疑学员满意率，教师到位准时率，教师资格符合率，学员问题解决满意率等。
（五）对培训实际效果的评价。培训效果评价主要来自企业基层及学员对培训结果的满意度。主要评价指标包括：课件主要内容与培训对象岗位工作需要吻合率，培训主要内容对生产（业务）急需程度的吻合率，学员作业（测试）合（及）格率、成绩优秀率，学员能力提升（或行为变化）满意率，学习对学员工作推进作用的满意率，培训对学员单位工作质量提升的满意率，学员对课件运行满意率，学员对教学评价满意率,学员对培训组织与管理评价满意率。
（六）对系统软件性能的评价。对系统软件性能的评价主要来自系统各类使用人员的反映。主要评价指标：页面友好性满意度，网络流畅性满意度，界面按钮、栏目设置的满意度，业务功能齐全性满意度、流程操作便捷性满意度，信息搜索、查询满意度，学习辅助工具满意度，资源调动方便性满意度，信息通知便捷性满意度，系统稳定性满意度等等。
远程培训项目质量评价模型
（一）评价指标体系构成模型。远程培训项目质量评价指标体系主要包括六大模块内容，各模块还可根据工作实际细分，其构成模型见下图：
（二）评价指标体系数学模型。为便于计算远程培训质量评价量化分值，并对项目质量立整体的质量概念，通过对各项工作评价指标的研究，归纳建立起远程培训项目质量评价数学模型：
Z=∑XiYi
公式中：
Z表示对该项工作评价的综合得分；
X表示评价指标权重系数；
Y表示评价指标分值；
n表示指标总数量；
i 表示通项公式的变量值，i=1，2，3，⋯，n-1，n。
（三）模型使用方法。培训评价实施过程中，评价组织人员要根据培训项目内容、安排及实施要求，确定评价的对象与目标，设置评价指标的权重系数X i。为方便量化评价统计汇总等操作，对评价中各项指标Y i，应统一采用百分制评分，可设定60分为及格，也可根据具体情况设定合格分值。由评价者根据实际情况打分，再根据公式计算出Z值（量化评价分数）。
关于指标的效度与信度
（一）关于信度问题。许多人对远程教育的实效性还是持有非常严重的疑虑，比如：我怎么知道学员上线学习了？他若请“枪手”替考怎么办？如此等等，这是非常现实的问题。但是，远程教育首先建立在学员自愿学习的基础上，如果这个前提不成立，那么所有的工作都将失去意义。当然，在培训运行中，我们可以通过一些技术手段或行政措施建立激励与约束机制，保证所获信息的准确，但更多还是要靠问题的科学性、趣味性和吸引力来引导评价者乐于参与并把真实感觉表达出来，以提高评分的有效性。
（二）关于指标的效度问题。在评价过程中，到底采用什么样的指标更能客观真实反映出项目运行效果及培训质量，尤其针对不同对象，什么样的指标更能反映出其工作质量与效果，这是我们研究的重点。所以在评价过程中，尽管我们在对不同对象的评价中会用到相同的指标，但这些指标所体现的重要程度是不同的。我们在对具体项目评价实施过程中，应结合评价目的、重点、要求为每个指标确定一定的权重系数，结合用户评价数据及权重系数，得出科学合理的评价分值或结论。
（三）关于指标的量度问题。在培训效果评价工作中，可用来量度各指标分值的方法很多，包括百分制打分法、直接权重值评分法，五等级五分值评分法等等。各种方法均有自身的合理性和适应操作的评价内容。本评价体系考虑多种评价通过远程教育系统实施并统计有关数据，为方便评价计分及数据统计，各类评价表均按五等级法给出一定的评分参考区间，由评价者在规定参考区间内打分，既保证评价结果相对一致性，也便于评价者的操作与评价后的统计与分析。
培训质量评估一直是员工培训难以突破的瓶颈。对于远程培训质量评估，刚刚进入探索阶段，遇到的问题更多。从企业远程培训的业务运行环节看，应主要从以下方面着手：培训需求分析，培训课程学习，远程在线答疑、在线测试、培训跟踪评价。本文提倡要结合企业实际，围绕远程培训给受训者带来的实际效果，实施量化评价，提高评估工作的实效性与可操作性，推动工作的持续改善。
远程培训项目质量评估的指标体分类
随着远程教育事业的飞速发展，国内外对远程教育质量评估标准的研究也在不断深入。美国ASTD(American Society for Training & Development)制定的对网上课件和多媒体课件认证的标准，主要从可用性和教学设计两方面进行衡量。《E-Learning Certification Standards》是由美国教学设计与应用专业委员会建立的认证标准，从可用性、技术性和教学性三方面进行了评价。另外，还有ADL(Advanced Digital Learning)的网上教学设计和评估指南（ Guidelines for Design and Evaluation of Web-Based Instruction）制定的多媒体课件评估标准，内容大体相同。在国内，关于远程教育质量评估标准的研究也在逐步深入，清华大学组织开展了关于课程资源的评价标准的开发，北师大制定了网上课程的认证标准，中国科技大学开展了网上电子书评价标准的开发研究。但对于企业远程网络培训项目的质量评估，目前仍然没有一套明确的质量评价指标。本文结合国内外专家研究成果，将远程培训项目质量评价指标确定为以下几类：
（一）学习类指标：通过系统记录即可查找并进行分析的相关运行数据，主要包括：课程点击率，学员学习累计总时数、课程按时完成率、学员在线活跃程度等。
（二）考核类指标：通过检测、考试（核）所得出的具体数据，主要包括：作业（测试）完成率、参考率、合（及）格率、优秀率等。
（三）满意度指标：指通过对学员及相关方面组织的评价，评价人员对被评价对象的各类评价要素的打分及评价意见。主要包括：对课程的评价、对管理的评价、对辅导（指导）的评价、对培训效果的评价、对教学服务的评价、对网络功能的评价等。
（四）对具体问题的评价意见：这类评价可能无法通过打分给出具体结论，只是由评价者针对某环节、某个方面问题发表的意见、做出的结论、提出的建议等。这类评价可能无法直接通过具体分数统计体现，但对于发现及解决运行中存在的问题，持续提升工作水平有直接的指导与推动作用。
远程培训项目质量评估主要指标
（一）对课程的评价：对课程评价主要来自用人单位及学员两个方面。主要评价指标有：培训内容与学员需求吻合度、对课程主讲教师讲解的满意度、课程内容显示方式、课程结构合理性、课程画面清晰度、播放流畅程度、点击率（量）、发帖赞许次数、学员平均成绩，合格率、优秀率等。
（二）对辅导教师的评价：辅导教师评价主要来自远程教育中心（站）及参加培训的学员两个方面。主要的评价指标有：对辅导解答及时性的满意率，对辅导解答准确性的满意率，对教师辅导态度的满意率，辅导教师参加辅导工作出勤率，受学员指控或批评的次数，受学员赞许和表扬的次数，个人工作的准确率，相关业务合(协)作人员的满意率。
（三）对培训方案的评价，对培训方案的评价主要来自学员及用人单位两个方面。主要评价指标包括：课程内容知识点覆盖率（是否全面涵盖了学员全部应掌握的知识点），培训内容对学员的适用性，培训内容安排顺序的科学性、培训内容的深度、培训内容的广度，对总学时数的安排及开班时间安排是否合理，培训活动安排是否科学,相关措施能否保证培训质量,学员对课件表现形式的满意率。
（四）对教学管理的评价。对教学管理的评价主要来自由远程教育中心（站）及参训学员的反映。主要评价指标有：开班通知送达及时率，课程准时完成率，作业（测试）完成率、参考率，学员对培训活动组织满意率，学员对课件满意率，教师解释答疑学员满意率，教师到位准时率，教师资格符合率，学员问题解决满意率等。
（五）对培训实际效果的评价。培训效果评价主要来自企业基层及学员对培训结果的满意度。主要评价指标包括：课件主要内容与培训对象岗位工作需要吻合率，培训主要内容对生产（业务）急需程度的吻合率，学员作业（测试）合（及）格率、成绩优秀率，学员能力提升（或行为变化）满意率，学习对学员工作推进作用的满意率，培训对学员单位工作质量提升的满意率，学员对课件运行满意率，学员对教学评价满意率,学员对培训组织与管理评价满意率。
（六）对系统软件性能的评价。对系统软件性能的评价主要来自系统各类使用人员的反映。主要评价指标：页面友好性满意度，网络流畅性满意度，界面按钮、栏目设置的满意度，业务功能齐全性满意度、流程操作便捷性满意度，信息搜索、查询满意度，学习辅助工具满意度，资源调动方便性满意度，信息通知便捷性满意度，系统稳定性满意度等等。
远程培训项目质量评价模型
（一）评价指标体系构成模型。远程培训项目质量评价指标体系主要包括六大模块内容，各模块还可根据工作实际细分，其构成模型见下图：
（二）评价指标体系数学模型。为便于计算远程培训质量评价量化分值，并对项目质量立整体的质量概念，通过对各项工作评价指标的研究，归纳建立起远程培训项目质量评价数学模型：
Z=∑XiYi
公式中：
Z表示对该项工作评价的综合得分；
X表示评价指标权重系数；
Y表示评价指标分值；
n表示指标总数量；
i 表示通项公式的变量值，i=1，2，3，⋯，n-1，n。
（三）模型使用方法。培训评价实施过程中，评价组织人员要根据培训项目内容、安排及实施要求，确定评价的对象与目标，设置评价指标的权重系数X i。为方便量化评价统计汇总等操作，对评价中各项指标Y i，应统一采用百分制评分，可设定60分为及格，也可根据具体情况设定合格分值。由评价者根据实际情况打分，再根据公式计算出Z值（量化评价分数）。
关于指标的效度与信度
（一）关于信度问题。许多人对远程教育的实效性还是持有非常严重的疑虑，比如：我怎么知道学员上线学习了？他若请“枪手”替考怎么办？如此等等，这是非常现实的问题。但是，远程教育首先建立在学员自愿学习的基础上，如果这个前提不成立，那么所有的工作都将失去意义。当然，在培训运行中，我们可以通过一些技术手段或行政措施建立激励与约束机制，保证所获信息的准确，但更多还是要靠问题的科学性、趣味性和吸引力来引导评价者乐于参与并把真实感觉表达出来，以提高评分的有效性。
（二）关于指标的效度问题。在评价过程中，到底采用什么样的指标更能客观真实反映出项目运行效果及培训质量，尤其针对不同对象，什么样的指标更能反映出其工作质量与效果，这是我们研究的重点。所以在评价过程中，尽管我们在对不同对象的评价中会用到相同的指标，但这些指标所体现的重要程度是不同的。我们在对具体项目评价实施过程中，应结合评价目的、重点、要求为每个指标确定一定的权重系数，结合用户评价数据及权重系数，得出科学合理的评价分值或结论。
（三）关于指标的量度问题。在培训效果评价工作中，可用来量度各指标分值的方法很多，包括百分制打分法、直接权重值评分法，五等级五分值评分法等等。各种方法均有自身的合理性和适应操作的评价内容。本评价体系考虑多种评价通过远程教育系统实施并统计有关数据，为方便评价计分及数据统计，各类评价表均按五等级法给出一定的评分参考区间，由评价者在规定参考区间内打分，既保证评价结果相对一致性，也便于评价者的操作与评价后的统计与分析。