不依赖访问热度信息的分布式文件放置算法研究

来源 :西安科技大学 | 被引量 : 0次 | 上传用户:everywherecsu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据的背景下,人们对海量数据的存储和管理越来越依赖于分布式文件系统,而文件的放置算法是影响分布式文件系统整体性能的重要因素之一。近年来,研究者针对文件的访问热度对分布式文件系统的文件放置问题进行了研究,取得了一定的效果。但是文件访问热度信息是不确定的动态值,而且在文件存储时其访问热度是未知的。本文针对这一不足,对分布式文件系统的文件放置问题展开了研究。首先本文对分布式文件系统进行了研究。通过对HDFS(Hadoop Distributed File System)文件放置算法相关源代码的分析和研究,提取了 HDFS分布式文件系统默认文件放置算法模型;通过Hadoop集群进行了数据存储结果的验证和分析,指出了 HDFS分布式文件系统默认文件放置算法的不足之处。然后本文针对文件访问热度信息的不确定性问题,提出了一种不依赖文件访问热度信息的分布式文件放置算法,称为 WDFPA(Distributed File Placement Algorithm Without Depending on Popularity Information)算法。通过分析文件的访问寿命,发现文件已创建时间与文件的访问热度值之间存在极强的相关性。因此,本文根据文件访问分布规律,利用指数函数的方法将时间进行划分,并通过文件的创建时间确定文件所属的时间区间,最终将文件按照所属时间区间进行分时间段放置。最后,本文基于WDFPA算法,提出了一种动态副本管理策略。充分利用文件所属时间区间不同,其访问热度也不同的特点,对不同时间区间的文件设置不同的文件副本数量等级,然后根据分布式文件系统的存储负载情况,动态改变不同时间区间文件相应的副本数量,最终实现动态调整文件系统存储负载的目标。实验结果表明,本文提出的文件放置算法可以实现分布式文件系统各节点存储负载均衡,同时提升了各节点的访问负载均衡能力。本文提出的动态副本管理策略可以根据文件系统整体存储负载情况,动态改变副本数量,实现文件系统存储负载的调整。
其他文献
随着互联网的迅速发展,恶意软件成为最主要的互联网安全威胁之一,并损害着用户的计算机系统。在过去的十年里,恶意软件数量急速增加,对计算机网络和系统的安全造成了严重的威
自动显微镜在各行各业都有广泛的应用,尤其是在医疗领域,医生使用它查看病人的组织切片,根据医学图像诊断病情。这种传统的人工阅片方法,不仅给医生带来了繁重的劳动,而且由
如今数字图像在人们的实际生活中有很广泛的应用,比如在智能交通领域,航空航天领域,医学图像领域等。但是由于成像设备或人为拍摄的问题,以及图像在压缩,传输过程中噪声的影
本文以文学阅读为主要研究对象,针对现阶段阅读中重意义而轻意思,重内容而轻形式,重教化而轻审美的现象提出有意思的阅读。本文共分为三个部分。第一部分:何谓有意思阅读,通
随着数字媒体技术的快速发展,人们可以容易的获取数字图像信息,同时也刺激了图像编辑技术的发展。尽管现今已经存在着许多图像编辑方法,但现有研究和专业的图像编辑软件(如Ad
近几十年来,基于位置服务在军用及民用领域都得到了广泛关注,其应用情景也愈来愈多。有鉴于此,人们对于位置服务的可靠性以及有效性的要求也愈来愈高。基于位置服务顾名思义,
珠宝首饰的传统加工方式具有生产效率低、个性化定制成本高以及无法制备内部形状复杂的首饰等缺点,导致其已经无法满足人类日益增长的需求,而增材制造技术快速、个性化定制的特点,为珠宝首饰加工带来了无限创意。本文以Cu-10Sn合金和925 Ag合金为原料,研究其选区激光熔化成形(SLM)工艺,并制备复杂的珠宝饰品。首先,本文采用响应曲面法对SLM工艺参数进行分析和优化,提高SLM制备Cu-10Sn合金的致
增材制造具有产品开发快速性,能够直接生产出具有复杂几何形状的金属零件并能对局部失效部分进行修复,显著提高材料的利用率、降低零件成本。增材制造零件在疲劳等关键性能上
金属纳米自组装结构具有奇异的等离激元光学性质,在生物探测,医疗等领域有着广泛的应用前景。已有的研究表明,纳米尺度复杂的颗粒间作用力及各种力的平衡是决定组装结构和性
乡村振兴战略是在十九大报告中提出的,其中着重指出要加强农村基层工作,健全自治、法治、德治“三治一体”的乡村治理体系。其中自治是主要内容,自治强调村民自治,即自我管理、自我教育和自我服务,要求村民主动参与到乡村治理中,村民参与乡村治理的积极性直接影响村民的参与行为。因此,研究村民参与乡村治理的意愿,找出显著影响其参与意愿的具体因素。探究其影响的方向及程度,以及造成这种影响的具体原因,并提出相应的对策