【摘 要】
:
随着纠删码存储系统规模不断增大,庞大的节点规模导致其节点失效成为一种常态。传统失效数据重构方法导致恢复时间长和更高的前端I/O延迟。因此,为了保证纠删码存储系统中数
论文部分内容阅读
随着纠删码存储系统规模不断增大,庞大的节点规模导致其节点失效成为一种常态。传统失效数据重构方法导致恢复时间长和更高的前端I/O延迟。因此,为了保证纠删码存储系统中数据的高可用性以及在线响应性能,设计纠删码存储系统下同时提高恢复性能和恢复时前端I/O性能的优化方案具有重要科研意义的研究。针对上述问题,以基于纠删码的存储集群为研究对象,以优化重构性能和用户访问性能为目标,提出了基于流水线I/O方式的离线重构优化方案和基于内存I/O重定向的在线重构优化方案。基于流水线I/O方式的离线重构优化方案(PUSH)利用纠删码的编解码特性,将重构过程分解成一组线性组合计算操作,将各计算操作分派到各存活节点上,并按流水线I/O方式来完成整体重构过程。借助该流水线式重构链,使得替换节点接收带宽不再成为重构过程性能提升的瓶颈,也可以提高重构时存活节点中磁盘的响应性能。实验结果表明,与传统集中式重构方案相比,PUSH能够至少加速系统重构速度92%。基于I/O重定向的在线重构优化方案(RAM-RS)采用I/O分离策略,将失效用户请求重定向到由多个存活节点预分配内存所组成的内存区域,对重构工作流和用户访问流进行分离,减少用户访问对重构请求的干扰;利用内存区域中所缓存的已恢复用户访问数据,可以响应后续的用户访问请求,以加速用户响应过程。实验结果表明,与传统基于混合I/O流的在线重构相比,RAM-RS能够至少加速系统重构速度20%,并减少平均响应时间达78%。
其他文献
安全协议是一种在不安全的公共网络上为完成某种不可泄漏的信息交换而建立的通信协议.所谓网络的不安全性,是指黑客的存在,他可以监听,阻止和伪造正在网上传输的信息,他们的标准模
在CMP(chip-multiprocessor)系统中,内存系统被多个同时执行的线程共享。在共享的内存系统中,一个线程的访存请求不仅会被其它线程的请求延迟,而且也会破坏其它线程的访存并
随着信息技术的高速发展,计算机领域已进入了以数据为中心的大数据时代,数据规模的快速增长给计算机存储系统带来了机遇和挑战。传统的基于DRAM的计算机内存在面对工艺尺寸缩
伴随着信息时代的飞速发展,在Internet上充满了多种多样的多媒体信息。因为网络的迅速、便捷,越来越多的人选择了网络作为传递信息的途径,因此要求网络具有很好的安全性以保
电信业务网、有线电视网、计算机网是信息产业发展的三大基础网络。随着经济和技术的发展,传统的业务服务已经不能满足人们的需求。由于各网间不能互通,也造成重复投资和网络资
随着信息技术和互联网技术的发展,随着国家信息化进程的加速,网络与信息系统的基础性、全局性作用日益增强。人们在享受互联网给自己带来的方便与快捷的同时,也逐渐发现互联
服务器在空载的情况下依然消耗满载时60%的电能,因此当负载强度较低时服务器的吞吐率与能耗的比值要比负载强度较高时低。也就是说在负载轻时,电能很大部分都浪费了。为了达
当前,网络化制造已成为国际制造业竞争的焦点,积极推广网络化制造技术是迅速提升我国制造业,使其脱离低端地位的重要途径。网络化制造技术的推广离不开人才的培养。因此,通过计算机网络环境构建一个集产、学、研为一体的信息化、自动化、模块化的实验体系结构,成为本课题研究的立足点。本文在对网络化制造体系结构和应用实施方法的介绍中,重点阐述了参考模型视图的构成、面向独立企业的网络化制造体系结构以及网络系统应用工程
电子商务、金融以及社交网络等领域的迅猛发展,带来了数据规模前所未有的快速增长。大规模数据的存储和处理成为互联网行业的研究热点。作为GFS和MapReduce模型的开源实现,Ha