论文部分内容阅读
本研究主要从数据分析角度(Big Data),针对山东省内某大学2013-2015年度毕业的学生和部分在校学生基础数据库抽取做分析,最终通过大数据挖掘方法维度分析出成果关系,并以灵活的图表形式呈现出学生的学习成绩和日常行为之间的关系。本研究基础数据主要来自调取某高校的校园网一卡通、图书馆、教学系统、上网行为审计等的应用系统后台数据库,结合各类基础数据库的表结构特征,提取各数据库内的关键字段,针对非结构化数据做筛检过滤,通过大数据分析方法,将学生的日常生活行为与学生的学习成绩呈现关系图表。数据挖掘使用聚类、关系规则和序列模式挖掘,并结合非结构化数据的文本内容做归类抽取,采用可视化图表和地图方式呈现出数据分析的描述。过程定义建模平台针对基础数据进行清洗,建模平台是自定义算子开发,在自研集成平台实现的,集成平台是基于开源平台结合教育行业数据模型开发,底层语言使用Java,平台作为二次开发的工具,使用基本的SQL语句编程代码,极大简便了工作环节中Java众多算子环节复杂度,对于大数据平台搭建提供了非常简便的方法。本研究初期前端数字可视化图表平台使用Echarts呈现,后期结合使用数据挖掘分析细粒度将迁移到HTML5,现阶段Echarts的图表非常灵活,表现力和动画效果能够完全展示数据分析结果的直观性,可以达到数字化的立体感效果。这项研究的总体平台是构建虚拟化平台用Linux操作系统、Tomcat发布的WEB服务器,所有的硬件平台为大学信息中心的建设。