基于MapReduce的高校大数据分析挖掘

来源 :河南师范大学 | 被引量 : 0次 | 上传用户:fsswczc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
校园网建设已经为高校的教学、科研和管理提供了先进的综合信息化环境。构建于校园网之上的数字校园也不断地完善,高校逐步实现了从环境、资源到应用的全面数字化,通过对这些数据进行集成与整合,达到科学规范的管理校园数据的目的。以校园网和数字校园为基础,并且运用云计算、物联网和大数据技术构建的智慧校园,旨在给予学生更智能的学习和生活环境。在数字化和智能化的过程中学校各类应用系统所产生的数据日益增长,已初步形成了校园大数据环境。高校大数据中蕴含了丰富的信息,需要使用新的数据存储和分析工具对海量的高校数据进行存储和分析,并从中获得知识。为此,本文研究了数据挖掘相关算法在高校数据中的应用,为构建智慧校园提供合理的技术方法。本文首先采用主流的大数据处理平台Hadoop2.0对校园大数据的存储技术及方法进行分析,Hadoop2.0可有效地克服文件系统的扩展性差、资源利用率低和计算框架单一的缺陷;然后针对Apriori算法存在的耗时高、效率低的问题,提出基于MapRduce的最小支持度阈值算法,在学生成绩模块中验证改进算法的有效性;其次针对决策树C4.5存在碎片过多、过度拟合的问题,提出基于MapReduce的C4.5交叉分块算法,在学生助学金分类模块中验证改进算法的可行性;最后,从不同的评价标准分析验证所提算法的合理性。实验结果表明了本文提出的基于MapReduce的高校大数据挖掘方法的有效性,为高校大数据挖掘提供了新的研究思路,也为智慧校园的构建提供了技术参考。
其他文献
教学质量是教学工作的核心,为提高教学质量,增强学校的竞争力,就需要对教师的教学工作进行客观、合理的分析与评价,以便及时了解实际的教学情况,为年终教师晋级、考核和评优等提供
高空云层模拟是游戏中天空背景内容描述的一个方向,利用skybox以及skydome模型可以方便实现游戏中各种不同云以及气候环境下天空的模拟。在飞行模拟类游戏中,视点会在空中翱
随着互联网的广泛应用,网络安全问题日益突出。各种类型的攻击手段层出不穷,利用网络进行犯罪的案件逐年攀升。传统的一些网络安全防护措施,如防火墙、身份认证和识别技术、
近年来复杂网络研究已经成为当前研究的一个热门。研究表明:真实世界中的复杂网络有很多共同特征:小世界性、无标度性、社团结构以及网络的结构和功能关系等。网络由顶点和边组
数字水印技术作为解决版权保护和内容认证等问题的有效方法,已经成为了信息隐藏领域的研究热点,并且开始应用于数字产品保护。它是将具有特定意义的标识通过算法嵌入到数字图
多agent系统的研究是当今人工智能和自动化控制领域的最前沿方向。多agent系统在各行各业中都表现出了极大的应用性,其自身所具有的分布性、鲁棒性强以及良好的协作性和适应
随着计算机电子技术的飞速发展,市场上出现了多种多样的汽车防盗系统。本文运用ARM(Advanced RISC Machines)处理器设计了一个针对使用汽车万能钥匙盗窃汽车的防盗系统。此系
随着计算机及网络的发展,企业的信息化程度在不断提高。但是,传统企业的计算机应用程度不高,还仅仅停留在文档办公、信息发布等简单的业务层面上,企业的各项功能的业务流程控
近年来,由于农产品安全危机频繁发生,严重影响了人们的身体健康,如何实现农产品的可追溯能力,已是非常紧迫。农产品交易系统就是通过RFID技术规范化交易市场的秩序,记录并保
彩色处理是给予灰度图像颜色的处理技术,此技术源自20世纪70年美国NASA阿波罗计划,其目的是分析阿波罗号从外太空获得的图像。随着科技的不断发展,这项技术也逐渐被医疗业,工