基于HDFS的数据备份系统的分析与设计

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:shying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为一种数据安全策略,数据备份是保障数据安全的一种重要手段。然而现有的数据备份方案往往采用昂贵的数据备份服务器存储数据,这大大增加了备份的成本,同时也降低了系统性能。而计算机硬件的频繁更替,使得很多计算机设备成为了完好可用的闲置资源。云存储技术的出现,为这些闲置资源提供了用武之地,同时为数据备份提供了一种新的思路。在众多的云存储软件中,Hadoop分布式文件系统(HDFS)就是利用这些闲置资源来构建分布式集群,以解决数据存储和安全问题。本文分析了现有的主流备份方案,在研究对比的基础上,吸收已有备份方案的优点,弥补其不足,将云存储技术应用于数据备份,分析并设计了基于分布式文件系统HDFS的数据备份系统。该系统利用云存储技术,构建廉价、可扩展的分布式集群,解决了用户数据备份/恢复、邮件备份/恢复以及数据归档的需求,通过合并压缩、加密等技术进一步提高了系统的性能和安全性。本文主要进行了如下几方面的工作:1.介绍了数据备份系统的研究背景,总结了现有的备份系统及其优缺点。2.对数据备份以及HDFS的相关理论知识进行了综述。主要介绍了数据备份的概念、备份策略、备份系统分类以及逻辑结构,还介绍了云存储技术及HDFS的相关知识。3.对基于HDFS的数据备份系统进行了需求分析和详细设计。明确了备份系统的功能需求,完成了项目体系架构、功能架构的设计,完成了各个功能模块的流程设计,还完成了数据库的设计。4.对本文设计的备份系统进行了主要功能的实现以及性能评价和比较总结。实现了主要功能的开发工作和试运行,列举和展示了基本功能点的实现,并从多个方面分析比较了系统的性能。5.对本文工作进行了全面总结,指出了存在的不足和改进方向。实验表明,本文设计的备份系统在安全性、可靠性、可扩展性、经济性上有一定的优势。就安全性而言,通过对原始数据的加密压缩处理以及HDFS集群本身的安全机制大大提高了备份系统的安全性。就可靠性而言,备份数据以多份副本存储于不同数据节点上,即便某个节点发生故障,仍能保证数据的完整性。就可扩展性而言,HDFS集群可在不影响系统整体性能的情况下,添加数据节点以扩充容量。就经济性而言,集群采用廉价的闲置PC搭建,大大降低了备份系统的成本。
其他文献
同态加密是密码学中一个长期的公开问题,在外包存储和外包计算中具有广泛的应用前景。从2009年以来,陆续出现了几类基于格和整数的同态加密模型(半同态或全同态)。代数同态加密是
现场编程实现方式是将各种消防控制设备的控制时序和联动关系归纳为几种固定逻辑模型,并以特定的数据格式定义形成协议,最终根据实际工程的要求,通过计算机现场输入联动关系
复合式火灾探测报警目前世界范围内火灾探测报警领域最受人瞩目的研究方向之一.该论文的主要内容是公安部"复合式感烟感温火灾探测报警系统SX4000"的科研项目中的一部分-火灾
云计算数据中心内运行的多种多样的应用对网络的高带宽和低延时等性能提出了越来越高的要求。数据中心网络的流调度技术对数据流的传输进行调度,其目标是减少数据流平均完成时
该文主要介绍了在Windows95环境下,利用最新集成开发工具Visual C++5.0研制开发了应用于从德国引引进的ERGO-OXYSCREEN运动肺功能测试仪上的自动分析诊断系统.该系统的开发将
随着移动互联网以及无线接入技术的迅猛发展,无线城市为市民、企业和政府提供了共享无线信息平台的可能性,随时随地随需的获取无线网络服务已成为现代生活和办公的一个非常重
近年来,随着智能交通系统的快速发展,作为其关键技术之一的车载通信网络也逐渐受到国内外专家及学者的重视。车载通信网络能够提高行车的安全性、舒适性以及运输效率,因此可
随着网络技术的快速发展和广泛应用,互联网在各个方面影响着人们的日常生活和工作,潜移默化之中改变了人们的生活方式、行为习惯和社会活动。互联网已成为当今社会人们生活中不
该文是对采用数字语音中继卡开发新型的火警受理设备的整个过程的详细描述.该设备采用了数字程控技术,计算机技术,以及可视化软件编程技术,使该设备能够完成《城市消防通信指
该学位论文深入系统地研究了MMDBMS中的压缩技术和基于内容图像查询以及二者集成的问题。在数据库、图像压缩、模式识别等多个学科领域进行交叉研究,为突破存储和基于内容查询