【摘 要】
:
随着互联网快速发展,数据呈爆炸式增长,在当前众多互联网应用场景中80%为小文件。相对于大文件,海量小文件的存取给文件系统带来巨大的压力,因此其存储效率成为云存储行业关
论文部分内容阅读
随着互联网快速发展,数据呈爆炸式增长,在当前众多互联网应用场景中80%为小文件。相对于大文件,海量小文件的存取给文件系统带来巨大的压力,因此其存储效率成为云存储行业关注的重点问题。目前大多数分布式存储系统在网络通信、元数据访问、数据布局等方面侧重于大文件,对海量小文件的IOPS性能影响较大。而对象存储作为一种新型分布式存储架构被工业界普遍使用,其中Swift作为对象存储的实现范例在数据存取速度上有明显优势,为提高海量小文件的存储性能提供了新的可能。本文基于Swift对象存储架构对海量小文件的存取机制的优化进行研究。首先,为了提升海量小文件在存储时的写入性能,提出一种基于文件写入请求的时序特性的数据聚合存储策略;同时,建立分布式二级索引机制,解决代理节点的元数据管理的性能瓶颈。通过大量的仿真实验表明,相对原始系统的存储机制,本存储优化机制采用数据聚合分级索引策略,数据写入的响应时间更短,索引维护代价更低。其次,针对二级索引机制的引入带来小文件读取响应时间增长的不利影响,本文首先提出了一种结合历史关联性与语义关联性的对象关联性评估模型。然后借助于对象关联性评估数据进行对象预测分析,通过建立预取策略来减少小文件读取的响应时间。其次为提高预测的准确度,本模型提出回归分析的校正方法,首先通过HP公司真实日志数据对预测结果进行校对,其次修正结果反馈优化评估模型的权重分配,然后进一步拟合数据时序,实验结果表明,相比于传统,本模型提高了数据在访问时的效率。最后,本文通过完成整合数据聚合策略与对象预取策略的验证系统的设计与实现来验证本文提出的机制,实验表明,本文提出的加入预取策略的模型能有效提升海量小文件的存取效率。
其他文献
藏语自然语言处理是一门自然科学与社会科学的交叉学科,集藏语语言学、计算机科学、数学、逻辑学和心理学,研究人与人、人与计算机之间交流的一种语言问题。相对而言藏语自然
分类问题是指通过对已知类别的样本集的学习,来预测未知类别样本的问题。对于分类问题而言,根据样本集合所拥有的标签数,可分为两类问题和多类问题;而按样本所拥有的标签数,
异常检测技术由于其在网络安全、信用欺诈和金融分析等领域的广泛应用,一直都是信息科学研究领域的关注重点,研究者们将统计学,数据挖掘,信息理论等众多技术引入异常检测的研
节点准确的位置信息是提供监测事件位置的前提,对节点定位跟踪技术进行研究具有重要的理论和实际意义。无线传感器网络移动信标节点定位机制大大减少了网络构建成本,一定程度
近年来,随着面向服务的计算模式和架构的广泛应用,越来越多的Web服务出现在Internet上。许多Web服务具有相同或相似的功能,但是服务质量(Quality of Service,QoS)却参差不齐
现代处理器体系结构的硬件设施已经具有非常优良的性能,特别是向量VLIW处理器同时具有标量和向量处理单元。与超标量、超流水等高性能的体系结构不同,VLIW的指令调度、相关性
数据加密是保证敏感数据保密性的重要手段,如何在加密后的数据上进行高效查询是数据库研究领域的一项难题。为提升加密数据库的查询性能,论文设计了一种新型的B+树密文数据库
数据挖掘技术与日常生活的关系已经越来越密切了,人们对数据挖掘技术在某些领域中应用的兴趣与日俱增。数据挖掘技术已在生物医学、金融业、零售业、电信业等多个行业被广泛
在考试评卷中,控制评分误差,是一个世界性的难题。研究认为,解决评分误差问题必须从实施标准化考试入手,须从命题标准化、考试实施标准化、评分标准化和分数解释标准化四个环
碰撞检测技术是虚拟环境中的一项关键技术,它的速度和准确性影响虚拟环境的真实感和沉浸感。本文以虚拟手术为应用背景,对虚拟手术中的碰撞检测和软体自碰撞检测算法进行了深