面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:fengyaoying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡。Erasure Code存储能够以更低的存储开销提供更高的可靠性。然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能;同时,Erasure Code存储写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性。针对这两个问题,提出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的Erasure Code机群文件系统I/O优化方法。通过在开发的Erasure Code分布式文件系统ECFS的实验测试表明,使用这种优化方法后机群文件系统的聚合带宽能够提高95.53%。
其他文献
对我国目前工程监理在工程建设过程中的定位、工程建设过程中监理的角色、法律法规和监理理论与实际工作的相适应、监理行业未来的发展、监理行业人力资源以及工程建设管理的
目的探讨改良式小切口治疗甲沟炎的临床疗效。方法 2015年1月-2016年6月,对60例甲沟炎患者分别采用改良式小切口或单纯部分拔甲术治疗,并根据统一标准进行测评比较。结果疼痛
"天子驾六"车制产生于何时?自西汉以来学术界就有不同的看法。洛阳王城广场东周车马坑发现的"天子驾六",位于东周王城东北部的王陵区内,说明这种车制早在春秋中期就已产生。
国际劳工标准争论焦点不断变化,将国际劳工标准作为贸易标准成为贸易国际化的必然趋势。中国现行立法面临挑战,特别是劳动法需要完善:遵守国际劳工公约关于最低就业年龄的规
外商直接投资区位选择理论及实证研究主要在宏观区位或微观区位层面分析国家、地区特征对外商直接投资区位选择的影响程度。本文在对外商直接投资的微观理论、宏观理论及综合
<正>经常想,假如有一天忽然没有了互联网,我们该如何生活?互联网发展的历史虽然不长,但是在迅速改变着我们的生活。我们在网上看新闻、和网友聊天,找自己喜欢的电影和电视,在
上海浦东新区某房地产集团公司在近年的工程项目建设中,从界定业主与监理的职责入手,在项目建设的全过程注意发挥监理单位在工程质量与安全方面的主观能动作用,成为项目建设
<正>一个满意的顾客会引发8笔潜在的生意;一个不满意的顾客会影响25个人的购买意愿CS是英语Customer Satisfaetion的缩写,意为"顾客满意"或"顾客满意度"。进入90年代以后,在
<正>江苏省某对农村夫妇与村里签订了土地承包合同,取得土地承包权,杨某在其老公死后改嫁给外村人,原村变通过村民会议决定将杨某所承包的土地收回,杨某要求村里继续将土地承