论文部分内容阅读
近年来,随着国内经济的快速发展和科研探索在幼教领域的进展,我国对教育行业的重视让幼教市场的规模逐渐扩大。而当前面向幼教领域的管理系统,不仅难以保证数据的安全性,而且难以应对短期激增并且有着较高价值的非结构化数据。从系统规划上看,大多会因为系统模块间牵连过于紧密或是各子系统间数据交互衔接困难,导致最终开发整合过程低效。为此,本文面向幼教领域研究和开发了一个基于Hadoop技术的园所儿童数据服务系统,为幼教领域搭建一个完整的资源管理和信息交互平台。论文的主要研究工作归纳如下:(1)充分梳理当前大数据技术栈的特点,整合计算机硬件资源,实现了云计算平台的部署。本系统采用Hadoop系统与基础服务平台相结合的结构设计,利用其对数据存储稳定、高效、灵活的特性,解决了海量激增的非结构化数据管理问题。(2)平台将Hadoop分布式系统与基于Spring Cloud的微服务架构相结合,将系统分为多个模块进行独立开发和部署,实现了各大模块的有效解耦。这种组合方式可以让平台保持较高的柔韧性,并且保有其在性能和功能上的灵活性和可扩展性。(3)基于需求分析和架构设计,实现了一个完整、可靠、高效的园所数据管理平台。针对资源共享模块,搭建了基于HDFS的园所幼教资源库,并利用基于人脸识别的照片分发系统,实现了照片管理模块内的功能。此外,论文先后分析并优化了基于内容的协同过滤算法,并基于Map Reduce分布式计算框架实现了幼教资源推荐服务。(4)为了提高分布式文件系统的稳定性和健壮性,本Hadoop集群的搭建采取了双Name Node节点的HA设计。同时根据系统内硬件资源配置情况以及运营中的实际问题,有针对性地从Map Reduce运算性能和HDFS小文件处理两个角度入手,有效改善了系统空间利用率和存取效率。最后研究并开发了一个实际部署运营的儿童数据资源管理平台,平台的部署与稳定运行验证了园所儿童数据管理平台的稳定性和高效性。