信息存储系统中重复数据删除技术的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:kaixun520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
重复数据删除技术是网络存储系统中一种数据无损压缩的解决方案,可以有效地抑制数据存储开销过快的增长,缩减存储系统的构建以及运营管理的成本。在数据信息量迅猛增长的背景下,重复数据删除技术得到了学术界和产业界广泛的关注。但重复数据删除领域仍然存在诸多技术问题,如提高数据压缩率,减少处理时间,优化数据可靠性等方面。针对上述存在的问题,论文从重复数据删除处理方法,重复数据删除处理中的数据可靠性问题以及存储后台的数据分布策略三个方面展开了深入的研究。通过理论分析模型以及现实数据集的实测分析,对影响重复数据删除处理效果的因素展开了研究。目标数据的重复特征对重复数据删除处理的效果具有较大影响,因此,提出了一种基于重复特征的重复数据删除策略,对数据压缩率以及处理时间开销进行优化。该策略主要包括基于语义的数据分组策略和渐进式数据分割粒度判定法。基于语义的数据分组策略根据语义信息对数据的重复特征以及相似性进行判别并完成对目标数据的分组操作。渐进式数据分割粒度判定法是以数据分组为操作单位,根据重复特征对数据分割策略进行合适地设置。实验测试表明基于重复特征的重复数据删除策略相对于其它重复数据删除解决方案,在数据压缩率以及处理时间开销上获得了更加优异的综合性能。针对重复数据删除处理中数据可靠性的问题提出了一种最优冗余度计算模型,根据数据的引用热度提高目标数据的可靠性。为了将该理论模型应用到现实存储系统中,采用抽取数据单元样本空间计算经验数值的方法对理论模型进行了可行性优化,并提出一种基于引用热度的数据冗余策略。该数据冗余策略根据数据单元的相关属性(数据单元的大小以及引用热度)配置最优的冗余度,确保目标数据集使用最小的存储开销获得最优的数据可靠性。仿真实验验证了基于引用热度的数据冗余策略的可行性和有效性。针对当前数据分布策略中灵活性不足的问题,提出了一种基于容量感知的数据分布策略,以改善在物理节点间存储资源不相等的情况下存储负载的均衡程度。该策略提供了两种情况下的数据分布策略解决方案。在不考虑数据冗余度情况下,提出了一种基于容量感知的数据分布式策略,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点分配法进行存储资源的分配;并采用基于节点容量感知的负载均衡方法对物理存储节点之间的数据负载分布进行优化调整。在考虑数据冗余度情况下,提出了一种支持多冗余度的数据分布策略,为数据冗余策略提供灵活的平台支持,并对存储负载均衡程度进行优化。仿真测试结果表明两种数据分布策略在各自应用背景下均有助于改善存储数据负载的均衡水平。
其他文献
改革开放三十多年来,农民工为经济社会的发展作出巨大的贡献,"农民工现象"越来越引起社会的关注。以东莞的农民工文化生活为例,他们的身份基本是处于"不工不农、不城不乡"的状态,
传统结构功能框架之下的中间阶层的消费行为研究,较为集中的将研究重点置于宏观的社会结构,强调社会整合和社会制度的作用。事实上,作为个体实现社会关系的结婚消费,既是经济
东晋著名诗人陶渊明与音乐之关系,由于旧史记载的错误而长期受到遮蔽,人们大多对陶渊明的音乐才能持否定意见,认为他不解音律、不懂音声。然而,通过对陶公日常生活中音乐文化
中国新文学的学术化从五四文学革命起步,以科学认识论和写实主义文学精神,建构新文学的观念体系和学术品质。思想性表达和知识论建构是中国新文学学术化的重要特征。从“问题
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
通过中性盐雾试验、电化学阻抗谱测试两种方法,研究了4种体系的紧固件涂层在海洋环境中的腐蚀行为,并对比了4种涂层体系的防护性能。结果表明:渗锌层+达克罗涂层+有机涂层封闭的涂
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
针对数据中心空调冷水系统在不同运行模式下对冷却塔出水温度的不同要求,设计基于PLC和变频的冷却塔监控系统;对冷却塔在不同工况下的控制程序进行优化,通过调节冷却水循环水
数据存储技术是计算机领域研究的热点之一。随着Internet规模的不断扩大和多媒体技术的出现,视频、音乐、图片、电子书籍等大量数据充斥着网络。如何对海量的数据进行快速、高
城市基础设施建设是推进城市化进程必不可少的物质保证。最近,我们对全省城市基础设施状况进行了调研,调研的范围为市政、环卫、供水、排水、燃气、园林绿化、城市防洪等;城市住