基于范德蒙码的HDFS优化存储策略研究

来源 :计算机学报 | 被引量 : 0次 | 上传用户:pipiyouxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径.
其他文献
错误定位是软件调试中非常耗时费力的活动之一,自动错误定位技术可以提高调试效率,降低调试成本.该文提出一种把动态切片、关联分析及排序策略相结合的错误定位方法.首先,收
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较
时间序列shapelets是序列之中最具有辨别性的子序列.解决时间序列分类问题的有效途径之一是通过shapelets转换技术,将其发现与分类器的构建相分离,其主要优点是优化了shapele
数据中心的高能耗是一个亟待解决的问题.尤其是随着云计算的发展,更多的资源集中到云端.构建绿色数据中心、实现节能减排成为了近年来业界关注的热点.数据中心的能耗主要由计