分布式文件系统检索性能优化技术研究

来源 :东南大学 | 被引量 : 2次 | 上传用户:dengzk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统在处理海量文件存储需求的问题上已有很多成熟的商业解决方案,但海量小文件问题一直是学术界和工业界的技术难题。为了解决这个难题,已有研究尝试引入分布式文件系统解决海量小文件问题,但是多数成熟的分布式文件系统在使用场景设计上仅面向大文件存储需求。已有分布式文件系统面向海量小文件场景的优化研究中,多数优化目标是去除单点故障问题、性能瓶颈问题或资源消耗负载等,优化方法大多是从文件存储模型、元数据管理方式、系统体系架构等方面进行单一优化,并没有以提高检索性能为目标的综合优化技术研究。在此背景下,为了探索海量小文件场景中,提高分布式文件系统检索性能可行的优化技术和方法,本文进行了相关技术研究,主要工作和贡献包括:(1)将元数据服务器架构、检索算法、文件分块策略和副本放置策略综合改进,以提高分布式文件系统检索性能。(2)基于混合式元数据管理方式提出元数据服务器组的概念,设计主从架构元数据服务器组内成员管理策略和元数据一致性算法,并根据元数据服务器组的主从结构提出特定的分布式计算检索算法。(3)探索并验证客户端以分段并发从存储服务器读取文件,在内存进行文件合并的方式可以提高分布式文件系统读取性能。(4)设计实现原型分布式文件系统ZRDFS+,通过实验验证了系统设计和改进的有效性,实验结果表明ZRDFS+比ZRDFS写文件性能提高36.8%,读文件性能提高22.3%;比HDFS写文件性能降低17.1%,读文件性能提高51.4%。
其他文献
关键路径是指网络图中时差量最小的路径,关键路径上的所有工序即为关键工序,如果这些工序在网络中耽搁,就会产生瓶颈问题,影响工程项目的施工进度。因此在油田工程项目管理中
目的分析内江市蟑螂种群构成、密度分布、侵害现状和季节消长规律,为开展蟑螂综合防治提供科学依据。方法按照《内江市2016年病媒生物监测方案》选取监测点,采用粘捕法对农贸
以色列是中东地区重要的国家之一,其经济较为发达,科学技术较为先进,与经济、技术水平相适应。它的知识产权保护制度包括专利保护制度也比较完善,它既是巴黎公约、专利合作条
会议
亚当.斯密既把正义作为一种具体的行为规范,又看作是一种美德或德性,但他主要是把正义作为行为规范来运用的。亚当.斯密的正义伦理呈现出一种价值上的错位,这种价值错位首先
对国内外智能变电站对点系统研究现状进行了综述,简要概述了远动系统通信方式,对比了传统远动对点系统和自动远动对点系统。基于模块化的思想,设计了一套完整的远动对点系统,并采
近十年来,一些体外胃肠模拟法被应用于来测定土壤中有机污染物的生物可获得性(in vitro bioaccessibility),进而预测生物有效性(in vivo bioavailability)。相比动物实验而言
随着新课改的不断推进,我国的舞蹈教学模式也在不断进行改革。传统文化是舞蹈教学中的重要组成部分,随着西方文化对中国文化的不断冲击,对我国的舞蹈教学改革产生了很大影响,
<正> 林植夫同志是福建闽候人,昔年曾留学日本,在日本帝国大学学习植物、水利。在日本留学期间,他参加了孙中山的同盟会,回国后一直在国民党中工作,但他看清了国民党蒋介石的
度量衡划一关乎民众生活、市场拓展,又于政权统一和国家建设有着重要意义。因此,国民政府鼎立南京后立即启动度量衡改制,以商会为主体的商人团体也积极参与其中,充分表达了商
大学生对思想政治教育存在逆反心理会极大影响大学生思想政治教育的顺利有效开展。因此,在深入分析大学生思想政治教育逆反心理的表现及形成原因的基础上,采取营造良好氛围、丰