分布式文件系统小文件性能优化技术研究与实现

被引量 : 0次 | 上传用户:franky_816
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能计算平台存储系统的首选,已经在军事技术、天气预报等环境中得到广泛应用。相比其它文件系统,它具有两个特点:一是通过数据的分布存储,来提供更大的存储空间,并利用并行的I/O服务模式提供更高的I/O带宽;二是通过使用各种新颖的分布式存储体系结构,来为应用程序提供更丰富的I/O模式。比如通过使用对象存储技术,为应用程序提供面向对象的数据存储格式,并提供Peta级大小的存储空间。Lustre是典型的基于对象存储体系结构的并行文件系统,它起源于卡耐基梅隆大学的Coda项目研究工作,已经成为当前高性能计算领域使用最广泛的并行文件系统之一。Lustre具有良好的大文件I/O性能,但是由于Lustre使用分布式的存储体系结构,文件元数据和数据分开存储,它的小文件I/O性能低下,甚至不如本地文件系统。本文以Lustre为具体研究对象,通过研究Lustre的存储体系结构和实现原理,在Lustre的OST组件中设计并实现了一种分布独立式的小文件Cache结构:Filter Cache。该方法通过扩展Lustre的OST端的数据通路,在原有数据通路的基础上,增加对小对象I/O的缓存措施,以此来改善Lustre的小文件性能。测试表明:使用Filter Cache方法之后,Lustre的小文件I/O性能得到了很好的改善,在Cache资源全命中时,读性能最大能够提高65%。命中率和访问延迟是Cache系统中最重要的两个指标。本文研究了Cache技术的设计思想和实现技术,设计了对Filter Cache方法的优化方案。优化方案主要针对方法使用的资源结构、Cache置换算法和Cache读写流程。本文下一步工作将进一步完善这些优化措施的设计,并进行实现。最后,本文对分布式文件系统中的另一种Cache结构:协作-对象Cache进行了研究,详细介绍了其特点和实现,对比了该Cache结构和Filter Cache方法的不同点,根据它的优点提出了两点对Filter Cache方法的改进思想。
其他文献
在钛及其合金上覆盖等原子比或近等原子比Ti-Ni合金涂层不仅可以有效改善钛及其合金的耐颗粒磨损性能,而且由于涂层能够与基材之间产生协调变形进而可望有效提高其疲劳性能。
如何在实现人物风格转移的同时保持人物形体结构的协调性和脸部辨识的一致性,是目前人物画风格转移较难解决的问题.为此,将云南重彩画作为风格转移目标,把输入照片转移成目标
<正>2010年10月,中共中央办公厅、国务院办公厅下发关于《党政主要领导干部和国有企业领导人经济责任审计规定》(以下简称《规定》),是经济责任审计法规制度建设的里程碑。审
针对空心电抗器快速检测的要求,本文设计了空心电抗器内表面快速检测仪的传动系统和控制系统。由于电抗器在制造、安装、运输和使用过程中,均可能出现内表面脏污、毛刺、接触
随着国家政策的扶持,市场经济活力的增强,我国民办教育早已成为社会主义教育事业的重要组成部分。取消营利性民办学校办义务教育资格这一新政策无疑是平静中的巨浪,将对未来
目前由于能源危机和人们环保意识的增强,对轻质、可回收材料的需求更为迫切。作为金属结构材料中最轻的一种,Mg-Li合金除了在航空、航天、汽车和电子工业领域的应用外,还将在
目的:探讨3种不同绝经后妇女宫内节育器取出术的疗效。方法:选择绝经后妇女317例,随机分成3组。A组(104例)口服补佳乐(2 mg),连服5 d,术前3 h于阴道后穹窿放置米索前列醇400
随着多层螺旋CT的临床应用,胰腺癌的影像学分期和术前可切除性评估的准确率不断提高。本研究利用多层螺旋CT对胰腺癌的检查方法及手术可切除性评估进行研究。研究分为两个部
SCADA(Supervisory Control And Data Acquisition)系统即数据采集及监视控制系统。是电网调度自动化系统重要组成部分。目前,SCADA的软件设计大多采用传统的C/S结构,即客户/
期货市场是商品经济发展的高级形式,一方面它是平衡重要商品物价波动的金融创新工具,另一方面,它也是一个重要的投资市场。期货市场由于杠杆效应的存在,容易积聚风险,并带来