论文部分内容阅读
三阶段接力 成就严谨研究
本次课题研究分预测、测评、数据处理与分析总结等三阶段。
首先是预测阶段。
2012年4月，课题立项后，课题组立即界定研究问题、确立研究目标、选择理论支持和方法技术、设计测评模型与测评方案、开发预测评试题、对预测院校人员开展培训；6月，在3所院校的4个专业实施预测评；6月，完成改卷、数据处理和预测评分析总结，形成预测评报告；7月，课题在广州大厦开题，在职业能力建设司领导、课题论证专家的悉心指导下，课题组修定了研究设计，为正式的学生职业能力测评工作奠定了基础。
其次是测评阶段。
测评模型与内容设计方面——2012年7～9月，依据开题意见修正本研究问题为学校人才培养与企业人才需求的契合度，研究目标是检测一体化课改试点工作的效果，理论支持是一体化课程理论（包括设计导向的职业教育思想、一体化课程理论和一体化课程开发技术规程）和职业能力测评COMET理论（德国不来梅大学菲利克斯﹒劳耐尔教授领导的一个起源于德国的国际职业能力大规模测评研究项目）。
测评设计以学生职业能力测评形式展开，以符合职业的典型工作任务要求、体现中级工的特征（测评样本的学习阶段）、体现学习者和职业教育的特征为原则；三维测评模型设计为由初级工到高级技师的职业内容维度、完整工作过程伴随职业素养的职业行动维度和职业能力的三级水平维度，从职业人的职业效度而非从课程效度的视角来评价学生的职业能力与职业素养，遵循学习者的认知规律、由初学者到专家的职业能力发展规律以及特定工作领域的能力特征、技术标准和社会规范，对学习者是否达到教育目标和职业规范的要求进行大规模测试。
图 学生职业能力测评模型与测评方案
将测评内容设计为分专业的职业能力测评和学习情况调查。能力测评采用真实任务，要求被试者以符合职业要求的专业态度和方式方法在纸笔测评中独立编写测评任务的解决方案，全面细致地阐述采取方案的理由，记录任务完成过程和结果且说明理由，并用实操测评的方式实施、检验与评价这个方案，从而形成一个完整的职业行动过程。
测评样本确定方面——由人社部职业能力建设司技工教育管理处依据2009年试点院校专业开设是否有对比班和测评期间学生实习地点情况，确定了试点专业被测院校的15个教学班级。
测评过程监控方面——人社部职业能力建设司下发文件，课题组制定工作指引，组织了被测院校管理者的培训。被测院校严格执行了企业和其他院校考评员聘请的要求，由当地职业技能鉴定部门负责考场监控，并进行全程录像，确保了考评过程的客观性。
课题组进行了5个专业6份样题和10套学生职业能力测评试题及1份调查问卷的开发，提交人社部审核。2012年10月19日起，5所院校4个专业试点班和非试点班共计495名学生，采用A、B卷交叉发放实施测评和问卷调查（机加工专业没有合适的测评样本，故未施测）。
第三是数据处理与分析总结阶段。
2012年10月后，组织阅卷与数据统计分析，启动报告撰写与内审，2013年3月22日课题结题。
数据统计依据4个专业测评试题的评分标准，对试题中每一个评分点的得分情况从四方面逐项开展统计。共统计371个评价点，生成67225个数据、195个图和132个表，形成约30万字的测评总报告、调查问卷报告与4个分专业报告及5所测评院校15个教学班的成绩报告、495名学生成绩报告。数据准确，图表详实，行文严谨，内容客观，结论可信。
攻克三大难点 创新研究过程
难点一：职业能力测评模型的建立。
建立一个跨职业领域的职业能力测评模型是面临的首要挑战。本研究以“COMET三维职业能力模型”为基础，但该模型用纸笔测试方式只测评学生的认知潜能，而本课题的研究问题是测评学生的职业行动能力，包括纸笔和实操两部分测评，这就需要对COMET测评模型这一国际前沿理论创新应用。为此，课题组构建了由职业内容维度、职业行动维度和职业能力维度组成的测评模型。在职业内容维度上，依据中级工测评对象水平，以程序性任务为主；在职业行动维度上，职业素养伴随从明确任务/获取信息、制定/确定方案、实施/检查控制到评价反馈的职业工作过程；在职业能力维度上，以功能性能力为主，适当考虑过程性与设计能力。
难点二：职业能力测评试题的开发。
开发一套跨专业的符合测评模型的一组测评试题是又一挑战。COMET职业能力测评是以职业的典型工作任务为基础，是设计完成典型工作任务解决方案的纸笔测试形式。而本研究测评试题为保证测评的科学性、客观性，对5个专业均设计了A卷、B卷两份试题，测评时交叉发放给学生，采用真实任务，要求被试者在纸笔测评中独立编写测评任务的解决方案，全面细致地阐述采取方案的理由，记录任务完成过程和结果且说明理由，并用实操测评的方式实施、检验与评价这个方案，从而形成一个完整的职业行动过程。如何让测评模型与测评原则充分反映在不同专业的试题中？如何保证同一专业两份试题的等值性？如何涵盖职业行动与职业素养要求来设计纸笔与实操测评试题？这些都是非常大的挑战。
难点三：测评数据分析维度的设计。
设计一套跨专业的符合测评模型的分析处理方法是第三个挑战。如何对8份正式测评试题的371个评分点的数据进行分类分析？课题组紧紧围绕“学生综合职业能力培养与企业职场综合职业能力要求是否匹配”的研究目标，创新性地设计了数据分析的四个维度：测评总分、纸笔测试与实操测试试点班与非试点班的对比情况分析；职业行动维度的对比情况分析；纸笔测试综合职业能力的对比情况分析；纸笔测试的设计与实操测试的实施和评价等若干项目的相关性统计。数据处理方法是数据的科学性、严谨性的重要保障。本研究的数据采用SPSS 18.0软件包进行分析，设计检验指标有：平均分、平均得分率、标准差、t值、F值、显著性和均值的标准误等。
本次课题研究分预测、测评、数据处理与分析总结等三阶段。
首先是预测阶段。
2012年4月，课题立项后，课题组立即界定研究问题、确立研究目标、选择理论支持和方法技术、设计测评模型与测评方案、开发预测评试题、对预测院校人员开展培训；6月，在3所院校的4个专业实施预测评；6月，完成改卷、数据处理和预测评分析总结，形成预测评报告；7月，课题在广州大厦开题，在职业能力建设司领导、课题论证专家的悉心指导下，课题组修定了研究设计，为正式的学生职业能力测评工作奠定了基础。
其次是测评阶段。
测评模型与内容设计方面——2012年7～9月，依据开题意见修正本研究问题为学校人才培养与企业人才需求的契合度，研究目标是检测一体化课改试点工作的效果，理论支持是一体化课程理论（包括设计导向的职业教育思想、一体化课程理论和一体化课程开发技术规程）和职业能力测评COMET理论（德国不来梅大学菲利克斯﹒劳耐尔教授领导的一个起源于德国的国际职业能力大规模测评研究项目）。
测评设计以学生职业能力测评形式展开，以符合职业的典型工作任务要求、体现中级工的特征（测评样本的学习阶段）、体现学习者和职业教育的特征为原则；三维测评模型设计为由初级工到高级技师的职业内容维度、完整工作过程伴随职业素养的职业行动维度和职业能力的三级水平维度，从职业人的职业效度而非从课程效度的视角来评价学生的职业能力与职业素养，遵循学习者的认知规律、由初学者到专家的职业能力发展规律以及特定工作领域的能力特征、技术标准和社会规范，对学习者是否达到教育目标和职业规范的要求进行大规模测试。
图 学生职业能力测评模型与测评方案
将测评内容设计为分专业的职业能力测评和学习情况调查。能力测评采用真实任务，要求被试者以符合职业要求的专业态度和方式方法在纸笔测评中独立编写测评任务的解决方案，全面细致地阐述采取方案的理由，记录任务完成过程和结果且说明理由，并用实操测评的方式实施、检验与评价这个方案，从而形成一个完整的职业行动过程。
测评样本确定方面——由人社部职业能力建设司技工教育管理处依据2009年试点院校专业开设是否有对比班和测评期间学生实习地点情况，确定了试点专业被测院校的15个教学班级。
测评过程监控方面——人社部职业能力建设司下发文件，课题组制定工作指引，组织了被测院校管理者的培训。被测院校严格执行了企业和其他院校考评员聘请的要求，由当地职业技能鉴定部门负责考场监控，并进行全程录像，确保了考评过程的客观性。
课题组进行了5个专业6份样题和10套学生职业能力测评试题及1份调查问卷的开发，提交人社部审核。2012年10月19日起，5所院校4个专业试点班和非试点班共计495名学生，采用A、B卷交叉发放实施测评和问卷调查（机加工专业没有合适的测评样本，故未施测）。
第三是数据处理与分析总结阶段。
2012年10月后，组织阅卷与数据统计分析，启动报告撰写与内审，2013年3月22日课题结题。
数据统计依据4个专业测评试题的评分标准，对试题中每一个评分点的得分情况从四方面逐项开展统计。共统计371个评价点，生成67225个数据、195个图和132个表，形成约30万字的测评总报告、调查问卷报告与4个分专业报告及5所测评院校15个教学班的成绩报告、495名学生成绩报告。数据准确，图表详实，行文严谨，内容客观，结论可信。
攻克三大难点 创新研究过程
难点一：职业能力测评模型的建立。
建立一个跨职业领域的职业能力测评模型是面临的首要挑战。本研究以“COMET三维职业能力模型”为基础，但该模型用纸笔测试方式只测评学生的认知潜能，而本课题的研究问题是测评学生的职业行动能力，包括纸笔和实操两部分测评，这就需要对COMET测评模型这一国际前沿理论创新应用。为此，课题组构建了由职业内容维度、职业行动维度和职业能力维度组成的测评模型。在职业内容维度上，依据中级工测评对象水平，以程序性任务为主；在职业行动维度上，职业素养伴随从明确任务/获取信息、制定/确定方案、实施/检查控制到评价反馈的职业工作过程；在职业能力维度上，以功能性能力为主，适当考虑过程性与设计能力。
难点二：职业能力测评试题的开发。
开发一套跨专业的符合测评模型的一组测评试题是又一挑战。COMET职业能力测评是以职业的典型工作任务为基础，是设计完成典型工作任务解决方案的纸笔测试形式。而本研究测评试题为保证测评的科学性、客观性，对5个专业均设计了A卷、B卷两份试题，测评时交叉发放给学生，采用真实任务，要求被试者在纸笔测评中独立编写测评任务的解决方案，全面细致地阐述采取方案的理由，记录任务完成过程和结果且说明理由，并用实操测评的方式实施、检验与评价这个方案，从而形成一个完整的职业行动过程。如何让测评模型与测评原则充分反映在不同专业的试题中？如何保证同一专业两份试题的等值性？如何涵盖职业行动与职业素养要求来设计纸笔与实操测评试题？这些都是非常大的挑战。
难点三：测评数据分析维度的设计。
设计一套跨专业的符合测评模型的分析处理方法是第三个挑战。如何对8份正式测评试题的371个评分点的数据进行分类分析？课题组紧紧围绕“学生综合职业能力培养与企业职场综合职业能力要求是否匹配”的研究目标，创新性地设计了数据分析的四个维度：测评总分、纸笔测试与实操测试试点班与非试点班的对比情况分析；职业行动维度的对比情况分析；纸笔测试综合职业能力的对比情况分析；纸笔测试的设计与实操测试的实施和评价等若干项目的相关性统计。数据处理方法是数据的科学性、严谨性的重要保障。本研究的数据采用SPSS 18.0软件包进行分析，设计检验指标有：平均分、平均得分率、标准差、t值、F值、显著性和均值的标准误等。