基于HDFS平台的校园云存储系统设计与实现

来源 :湖南大学 | 被引量 : 0次 | 上传用户:yaocjs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着校园信息化不断发展,高校信息数据存储问题迅速涌现出来。然而,现存的数据存储平台不能够满足日益增长的海量数据的需求。因此,研究并开发一个有效的存储平台来存储这些海量信息数据显得尤其重要。云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云存储是在云计算概念上延伸和发展出来的一个新概念,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作简单来说,云存储就是将储存资源放到云上供用户存取的一种新兴方案,是目前的研究热点。基于HDFS的云存储系统是指通过Internet远程Web方式实现终端用户对文件信息的自由存取,并获得文件和文件夹的上传/下载以及管理功能。本文介绍了在IT服务大环境的基础上构建云存储系统的必要性。通过分析和对比GFS、Amazon s3、Hadoop的技术特性,确定了以HDFS作为平台的基础存储模式。通过搭建Hadoop存储平台,采用Java Web编程技术和Mysql数据库完成了各子系统的编码实现,并对云存储系统的进行性能测试。本文设计并实现了一种通用的基于Hadoop的校园云存储系统,在HDFS基础上实现了某学院云存储系统的整体设计,包括系统结构、数据库、后台存储、系统功能实现等。文中对HDFS原有的负载均衡算法进行改进,提出了一种多指标的负载均衡算法。在HDFS自身负载均衡的基础上,根据具体情况设定评价指标,设计评价函数,得出负载量,并制定双阈值策略对节点性能进行判断。最后进行负载迁移,完成算法的设计,提高系统性能。本文从系统的可行性分析到编码实现,为云存储系统的整体设计提供了一个原型系统云存储系统满足数据随用户移动需求,解决目前该校海量数据存储中高成本、管理复杂、可靠性差等问题,同时为该校后续的云计算应用搭建了一个基础使用平台。
其他文献
日益受到社会关注的书法教育需要健康可持续发展,认识书法教育自身的系统性与阶段性有其重要的意义。书法文化具有悠久的传统与深厚的积淀,需要系统学习与研究;书法教育是综
复合结构在抗动荷载方面具有明显的优势,它比一般的结构能够吸收更多的冲击能量。根据f 2.5 m爆炸模拟器上所做的实验结果和动力有限元方法对应力波的传播进行的计算,对应力
《大乘大义章》是后秦时期鸠摩罗什与慧远关于佛教大乘义理探讨的通信集,内容非常丰富,其中,以佛法身思想的讨论最为全面深入。鸠摩罗什关于法身思想的解答具有重要的方法论
柞水溶洞风景名胜区地处秦岭南坡,植物区起源古老,种类繁多,植群落多样性丰富。区内植物落主要有16个类型,在对春丰富度,均匀度和物种多样性指数进行分析后得出它们多样性大小顺序
<正>在中国古代文学,尤其是封建社会上升时期的文学中,寒士文学是一条主要发展线索。由于寒士阶层反对权贵垄断势力,要求实行开明政治,在文学上也体现为与宫廷文学对立的倾向
近些年,随着国家对生态环境保护重视程度不断增强,林业生态系统得到了进一步休养生息,生态环境进一步改善,林业覆盖率进一步增加。在可持续发展理念指导之下,国家先后实施了
我国《仲裁法》明确规定了仲裁与调解相结合的制度,这项颇具创造性的制度在国际上被誉为"东方经验"。但是由于立法的不完善和调解结案本身的特性,仲裁调解制度在实务中的应用
氨硼烷和金属硼烷作为储氢和制氢一体化材料受到大家的广泛关注,近年来,关于催化氨硼烷和金属硼烷释氢的研究越来越多,其中,使用催化剂是主要的研究方向。本论文的研究分为两
自由与责任是人类社会生活领域一对重要的价值范畴,各自具有深刻的价值内涵,它们在本质上是相互包含、相互制约、对立统一的。在社会转型发展过程中,自由与责任出现了价值割
<正>云计算(一)云计算概念。云计算(Cloud Computing),描述了一种基于互联网的新的IT服务增加、使用和交付模式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和