基于纠删码技术的HD_EC文件系统的设计与实现

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:LVBIN0077
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息全球化的发展,互联网产业得到迅速地发展,其在科学研究、数据挖掘和信息获取方面的广泛应用,使得人类需要存储和管理的数据越来越多,进而出现数据爆炸现象。数据的爆炸式增长使得本地文件系统在存储和计算能力等方面越来越不能满足用户的需求。分布式文件系统可以有效地解决数据存储和管理的难题,也逐渐代替本地文件系统成为企业数据的基本存储方式。数字信息化在促进分布式文件系统发展的同时,也对存储系统中数据的安全性提出了更高的要求。在当今数据即信息,数据即价值的时代,如何保护企业的“数据资产”不被损坏或丢失,保证数据的安全性成为重中之重。比较流行的数据安全技术包括备份、日志、快照和纠删码,而纠删码可以在保证数据安全性的同时,节约较多的存储空间,也因其较好的可扩展性,在分布式文件系统中得到广泛应用。本文主要针对目前比较流行的分布式文件系统HDFS进行研究,分析了HDFS多副本数据安全策略的缺点,采用比较流行的纠删码技术替代多副本策略,在保证数据安全性的同时,可以在系统数据总量为N的情况下,相比于HDFS的三副本技术,节约1.3N的存储空间。本文实现了HD_EC文件系统,该系统将HDFS和ECFS文件系统进行结合。ECFS是采用纠删码技术实现的,HD_EC文件系统充分利用两个文件系统的优点,将HDFS和ECFS进行文件系统的整合,将系统数据由HDFS转储到ECFS之中。在HDFS客户端发出文件操作命令后,首先在HDFS名字节点修改或读取名字空间目录树,然后获取数据将要写向或已经存放的数据节点信息,最后在HDFS端调用ECFS所提供的文件操作接口,向ECFS写入数据或者从ECFS中读取或删除文件数据。写向HD_EC文件系统的数据会经过一定的纠删码算法,计算得出编码块,将数据块和编码块同时存放在ECFS中的数据服务器中。因为HDFS是以Java代码实现,而ECFS是C语言代码实现,不能直接通过接口调用ECFS中的函数,因此本文采用Java中的JNI应用程序,实现Java和C本地库的相互转换。本文还完成了HD_EC文件系统的相关测试工作。从系统功能的实现、存储空间、读写效率三个方面进行测试。从实验结果来看,在系统功能实现方面,系统很好的实现了文件操作的功能,可以将数据正确的存储到ECFS中,也可以从中正确的读取文件数据;在存储空间方面,将HDFS中的数据存储到ECFS之中,在保证数据安全性的同时,还可以节约相比于三副本更多的存储空间;在读写效率方面,将数据存于ECFS之中,读写速率会有一定程度的减慢,这也正是接下来研究工作的重要一部分。
其他文献
随着Web服务和SOA受到学术界和产业界越来越多的关注,面向服务应用越来越广泛,由不同的提供者提供、可供选择和利用的Web服务逐渐增多,从而出现大量功能相同或相似的Web服务,
本文提出了基于量子行为粒子群优化算法的图像配准新方法,是基于灰度的图像配准方法,该方法将图像配准作为一个最优化问题,并采用在经典粒子群优化算法和量子理论基础上提出的量
语音增强是语音信号处理的一个重要分支。语音增强技术无论在日常生活中,还是军事领域,或者对语音信号处理技术都很有应用价值。语音增强技术不但与语音信号处理理论有关,而
脑机接口(Brain-Computer Interface,BCI)是基于脑电信号实现人脑与计算机或其他电子设备通讯和控制的系统,它不依赖于脑的正常输出通路(外周神经系统及肌肉组织),是一种全新
随着软件需求规模的日益增长,带来了软件开发规模的不断扩大和复杂程度的不断提高,软件危机愈加明显。软件复用是软件业界为解决上述问题而提出的一种对策,是一种由预先构造
最近,来自工程和科学各个学科的研究学者对多智能体网络的协同控制问题表现出极大的研究兴趣。研究的领域包括一致性、耦合振子同步、渐近分布式算法、群集的集体行为、多智
校园"一卡通"系统集身份认证、现金交易、宿舍管理、借书服务等多种功能于一身,安全的重要性日益突出。"一卡通"系统前期项目针对这些连接着有线网络的读卡终端信息采集的安
缓存技术是提高数据访问性能的重要技术之一,在计算技术的多个领域得到了广泛的应用。通过分析用户对数据信息的访问特征,缓存技术巧妙地利用数据的可复制性和可共享性,在最
知识管理与知识管理系统正引起广泛的关注,尤其是面向企业应用的企业知识管理系统在企业生产和创新活动中扮演越来越重要的角色。而随着企业经营的深入和规模的日益增长,随之
近年来视频压缩已经取得了长足的发展。随着应用领域的拓展,视频编码已经超越了单纯的压缩,信源和网络联合编码可以为新的应用提供更好的解决方案。信源和网络联合编码中最核