基于HDFS的多用户并行文件IO的设计与实现

被引量 : 0次 | 上传用户:skoda0412
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络及其应用的快速发展,特别是Google提出基于Internet的海量数据存储和Map-reduce并行计算思想以来,网络化的数据存储管理和并行分析处理成为学术界和产业界研究的焦点,其中Hadoop作为该思想的参考实现之一,受到了广泛的关注。Hadoop的核心HDFS分布式文件系统采用锁机制控制文件并行IO,不支持多用户对同一文件的读、写并行,限制了多用户并行文件操作的性能,为此,本文针对海量日志类型数据的特点,提出了一种非基于锁机制的并行文件IO模型,并通过实验,验证了本模型的有效性。本文主要工作包括:(1)对Hadoop的相关工作进行了深入的分析,特别在深入分析其分布式文件系统HDFS的基础上,针对HDFS不支持多用户文件并行读写的不足,提出了使其支持多用户并行文件读写的改进思想。(2)通过分析HDFS的并发控制模型,针对海量日志类数据特点,提出了一种不使用互斥机制的分布式文件系统的多用户并行IO模型,基于该模型,在适当降低数据读取完整性的条件下,可以实现对于同一个文件的多用户读写并行、读读并行。(3)通过对原有HDFS实现的改进,设计实现了一个支持多用户并行IO的分布式文件系统。实验表明,本改进有效提高了多用户并行文件IO的性能。
其他文献
当今"双创"潮流下众创空间这一新型创业生态系统在国内各地迅猛发展,众创空间的发展与知识产权密不可分,做好知识产权服务能为这种新型经济模式提供有力支撑。基于创业生态系
目的:1、比较慢性阻塞性肺疾病(COPD)患者和正常对照组之间血清IL-1β水平差异;2、探讨白介素IL-1β基因-511、+3954、-31位点基因多态性与COPD易感性之间的关系。方法:以200
射流盘是偏转射流伺服阀中的关键部件,其加工质量的好坏,影响着整阀的工作性能。因此,在其使用之前,需要对射流盘的相关尺寸进行严格的检测。本文针对射流盘基本尺寸及形位公
随着温州经济的飞速发展,人们生活水平的不断提高和闲暇时间的增多,对良好生活方式的不断追求,使得市民对体育健身的需求日趋增长,在20世纪80年代末90年代初,温州市商业性的
钱学森是我国著名爱国科学家。他一生经历传奇,成就卓越。从1935年远赴美国学习西方先进技术,成为一名世界级科学家,到1955年冲破美国当局的重重阻挠,毅然回国参与社会主义中
随着社会的不断发展,广告已经成为企业最主要的营销手段,不论是大型企业还是中小企业,都在广告中投入大量的物力财力,广告在销售中起到了无以伦比的重要作用,甚至广告已经发
对于视同销售,增值税和企业所得税中有不同的规定。在会计处理上,也出现了两个分支:一是确认销售收入,然后根据配比原则结转销售成本;二是直接按成本结转,不确认收入。在实务
企业社会责任现在已经成为一股全球性的潮流,企业社会责任问题已经越来越被理论界和实践界所重视。而企业是否履行了社会责任,企业履行社会责任的程度和力度如何评价,更是企
中国实行住房市场化以来,尤其是近几年房地产价格一路上扬,越来越多的人们买不起甚至也租不起房子,因此政府开始加大保障性住房的投入。但是无论是廉租房还是经济适用房都是
随着经济与旅游业的快速发展,自驾车旅游正逐渐成为大众旅游的重要形式,国内对于自驾车旅游的理论研究和实践也在不断完善,研究成果日益增多。试对自驾游的研究主要问题进行