基于客户端缓存与请求调度的Ceph文件系统读时延优化策略研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xoyo20001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统以其可靠性高、容量大与扩展性强的优势,成为当前海量数据存储的主流选择。在大量分布式文件系统的应用场景中,读操作都占有较高的比例。此外,相对于写操作,读操作对于时延更加敏感,因此减少读访问操作的耗时对分布式文件系统而言有着重要意义。通过分析典型的开源Ceph分布式文件系统的数据访问流程,发现在其读请求处理过程中,请求的数据在网络层的传输延迟及请求在节点的服务延迟在整个读延迟中占据主导地位。因此,针对性地做出了设计以对二者进行优化。依据Ceph中文件对象条带化规则,利用局部性原理进行对象预取操作,提升客户端的数据命中率,减少未命中情况下对象存储节点的读取操作次数,从而减少时延较长的网络传输。具体而言,设计动态调整算法来设置预取窗口大小,使缓存命中率趋于最优;根据预取的对象内容,重新设计客户端缓存,使用两级队列管理,按照数据命中与预取的特点对缓存进行分类,并对分类的数据进行合理分割与合并管理。根据Ceph数据定位算法的输出经过调度优化来选择合适的目标位置,综合集群拓扑图的最小同根域距离与共享工作队列的I/O信息实现的调度算法,可使Ceph读访问达到均衡,从而降低访问热点造成的节点排队可能,减小排队带来的额外延迟。最后,通过将上述两种优化方案集成到Ceph系统中构建原型平台。测试结果表明,两方案均能有效提升系统性能或改善各节点负载均衡程度。具体而言,相较于原系统,自适应对象分片预取可使得读请求的响应时间平均下降13.73%,而读调度算法则可使得各节点负载的方差最多减少17.6%。
其他文献
放牧是内蒙古典型草原的重要利用形式,牛和马是主要放牧牲畜。放牧牲畜粪分解不仅是草地生态系统物质循环的重要途径,还是众多草地节肢动物的重要食物来源和适合栖息场所,对
图像分割是计算机视觉中的一个经典难题。本课题的研究主要应用于基于视频的奶牛识别系统,其中,完成对奶牛图像的有效分割是实现该系统的基础。目前,图像分割面临的难题是如
近年来,尽管国际国内社会出台了多种法规制度对上市公司的财务报告和盈余管理加强治理,但总是有不法企业寻找法规制度漏洞,特别是利用财务报表中的真实盈余管理对企业的财务报告和经营活动进行不正当的调整和运作,误导外部信息使用者。我国上市公司财务丑闻不断,仅2018年,证监会就处罚了信息披露违法类案件56起。2019年更是爆出了骇人听闻的“两康财务事件”,康得新虚增利润119.21亿元,康美药业300亿级别
随着互联网技术的发展,新闻的生产关系、传播方式发生了巨大变化。报纸、广播等传统媒体逐渐被新媒体取代。资讯类APP具有内容多样性、阅读便捷性、传播快捷性等优势,成为受众阅读新闻的首要选择。在市场竞争日益激烈的情况下,资讯类APP的新闻推送服务占据着越来越重要的地位。一方面,新闻推送能唤醒沉睡用户,提升产品活跃度,塑造客户端品牌形象;另一方面,新闻推送可以满足用户的个性化需求,提供良好的用户体验。但是
移动互联网的迅猛发展给当前应用带来了动辄千万的用户,规模巨大的用户数量产生了海量的数据。为了保证用户体验,需要极大提高海量数据的存取速度。尤其是在故障频发的情况下
回旋管在毫米和亚毫米波段振荡和放大上具有优良性能,这使得它在通信、雷达、高功率微毫米波、电子战、受控热核聚变、新型材料及高能物理等领域得到了广泛的应用,并开辟了广
经历了全球金融危机与欧债危机的洗礼,在欧元区经济复苏的漫漫长路上欧央行一直没有停止过政策方面的尝试与创新。在这个过程当中维持欧元区物价的稳定,防范一度处于萌芽中的
1,2-二醇因其良好的溶解性、杀菌性和保湿性等特点,广泛应用于精细化工和医药领域,同时也是重要的化工原料。近年来,1,2-二醇的需求不断增加,因此对其合成工艺的研究以及优化具有实际意义。首先,利用壳聚糖大分子上的活性氨基与1,3-丙磺酸内酯反应,将磺酸基负载到壳聚糖高分子上,制备了磺化壳聚糖催化剂;其次,采用吡啶/N-甲基咪唑与1,3-丙磺酸内酯反应,合成相应的磺酸内盐,再与等比例的无机酸反应制得
为了支持容量可扩展和高并发I/O等存储需求,集群存储方案被提出并不断被企业采用,现已成为一种行之有效的存储方式。然而,集群存储设计者需要考虑可靠性和安全性问题,一方面,
本论文首先利用HisTrap~TM HP亲和层析和HiTrap DEAE FF离子交换层析对E coli BL21(DE3)-lipA/lip B抑菌株所产生的重组伯克霍尔德菌ZYB002脂肪酶LipA进行了纯化;利用比色法