论文部分内容阅读
随着校园信息化不断发展,高校信息数据存储问题迅速涌现出来。然而,现存的数据存储平台不能够满足日益增长的海量数据的需求。因此,研究并开发一个有效的存储平台来存储这些海量信息数据显得尤其重要。云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云存储是在云计算概念上延伸和发展出来的一个新概念,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作简单来说,云存储就是将储存资源放到云上供用户存取的一种新兴方案,是目前的研究热点。基于HDFS的云存储系统是指通过Internet远程Web方式实现终端用户对文件信息的自由存取,并获得文件和文件夹的上传/下载以及管理功能。本文介绍了在IT服务大环境的基础上构建云存储系统的必要性。通过分析和对比GFS、Amazon s3、Hadoop的技术特性,确定了以HDFS作为平台的基础存储模式。通过搭建Hadoop存储平台,采用Java Web编程技术和Mysql数据库完成了各子系统的编码实现,并对云存储系统的进行性能测试。本文设计并实现了一种通用的基于Hadoop的校园云存储系统,在HDFS基础上实现了某学院云存储系统的整体设计,包括系统结构、数据库、后台存储、系统功能实现等。文中对HDFS原有的负载均衡算法进行改进,提出了一种多指标的负载均衡算法。在HDFS自身负载均衡的基础上,根据具体情况设定评价指标,设计评价函数,得出负载量,并制定双阈值策略对节点性能进行判断。最后进行负载迁移,完成算法的设计,提高系统性能。本文从系统的可行性分析到编码实现,为云存储系统的整体设计提供了一个原型系统云存储系统满足数据随用户移动需求,解决目前该校海量数据存储中高成本、管理复杂、可靠性差等问题,同时为该校后续的云计算应用搭建了一个基础使用平台。