【摘 要】
:
随着信息技术的快速发展,云计算、大数据等热门行业崛起,传统的单机作业不再能满足用户日益增长的需求。越来越多的个人以及企业都将平台重心从单机转移至分布式平台。Hadoop
论文部分内容阅读
随着信息技术的快速发展,云计算、大数据等热门行业崛起,传统的单机作业不再能满足用户日益增长的需求。越来越多的个人以及企业都将平台重心从单机转移至分布式平台。Hadoop以其高可靠、高扩展、高性能、高容错、低成本的特性成为当下炙手可热的分布式系统基础架构,被越来越多的用户及开发者接受,广泛运用于不同的生产环境。HDFS作为Hadoop的底层存储实现不仅高效地服务于Hadoop,还被用于其他分布式系统基础架构例如Spark等。HDFS全名为Hadoop Distributed File System,是Hadoop项目的一个子项目,它被设计为运行在通用硬件上的分布式文件系统。它与现有的分布式文件系统有很多相似之处,同样的,不同之处也十分明显。HDFS具有高容错性,可以被广泛运用于廉价的,淘汰的硬件。HDFS可以提供对应用高吞吐的访问,尤其适用于拥有大数据集的应用。然而随着HDFS被用于更多的生产环境,新的需求被逐渐提出,希望HDFS支持低延迟高性能的特性,以便用户可以尽快对写入HDFS的文件进行读取与分析。为了实现低延迟高性能的分布式文件系统,本文首先研究了HDFS的现有读写方法,结合国内外对读写技术优化方案的研究现状分析了各自的优缺点,并提出了可以有用方案。此方案根据HDFS在写入数据时数据节点必须依次写入的特性,结合最终一致性理论,实现了分布式文件系统低延迟高性能的特性。该方案首先打破了HDFS在写入操作阶段强一致性的要求,使用最终一致性理论,使得用户可以在文件系统尚未完全写入数据时便能够进行访问和读取数据。然后,在改进的写操作策略下,采用全新的读策略,实现对数据的访问,从而减少延迟,提高系统的访问效率。并且对新读写技术可能引入的新的异常进行分析和研究。最后通过实验结果表明,所提出的基于最终一致性的HDFS读写技术在我们的实验环境中,可以大大减少系统延迟,提高了系统性能高达163%。
其他文献
移动群智感知是以人为中心的感知,主要是利用人或车携带着大量移动传感器的特点在目标区域内收集感知对象的信息,上传到中心,以便监测目标区域的情况,完成大规模的、复杂的社
航空拍摄是获取极地信息的重要方式,但获得的航拍光学图像不能直观反应地形特征。在计算机视觉领域,利用光学图像进行多视图重建是当前研究的热点。这一技术可将二维的平面图像信息转化为直观的三维立体信息,已在远程医疗、虚拟现实等方面得到广泛应用,这也给利用航拍图像实现海冰场景地形的三维重建带来了可能。本文对海冰场景三维重建流程及相关改进策略进行了研究。在分析海冰图像数据特异性的基础上,结合运动恢复结构与多视
我国高等教育学术评价近年来逐步打破“唯论文、唯职称、唯奖项”的传统评价体系并提出建立新型的学术评价体系,与此同时建立起分类分层的新型、高效的高等教育人才评价体系。除“破四唯”外,高等教育人才评价应回归注重教师科研成果质量、科研成果贡献、教学质量等方面,并且围绕这些方面对人才进行学科分类为基础的人才评价。本次研究以广西壮族自治区南宁市几所在人文及社会科学领域教学及研究较有特色的地方高校为例,深入调查
地理教师评价学生的地理学习表现是重要的教学任务之一,教师评价贯穿教学过程的每一个环节,因此,地理教师是否拥有评价理论基础知识和评价技能对高中地理教师专业发展和学生全面发展起着至关重要的作用。本文研究的主要内容是调查昆明市高中地理教师评价素养的现状及不同背景下影响教师评价素养的因素,结合现状、影响因素以及半结构式访谈的结果,分析并归纳云南省昆明市高中地理教师评价素养呈现出的问题,提出有效应对高中地理
随着移动互联网和物联网技术的迅猛发展,无线数据流量与日俱增。高质量、高速率的数据传输需求不仅需要更先进的无线传输技术,也依赖于更多的频谱资源。无线电频谱的低频段资源已经趋于饱和,移动通信系统向毫米波频段拓展频谱资源已经成为发展趋势。60GHz毫米波有其独特的优势:频谱资源丰富、传输速率高、方向性强,抗干扰性能强,所以60GHz毫米波通信系统的研究受到了广泛关注。本文将在现有通信标准的基础之上开展下
在这个信息爆炸的时代,随着用户数据和存储设备需求的大幅增加,磁盘阵列中多块磁盘同时失效的情况频繁发生。其中,三盘容错阵列的高可靠性和低成本使它们受到更多的关注。在
从预约合同逐渐成为各国立法的一部分可以看出,其锁定交易机会、提高资源配置效率等优势将会对市场交易带来更多积极意义。因此预约合同的规范化适用在当前世界经济发展的情
遵循《中共中央关于科学技术体制改革的决定》中所提出的“经济建设必须依靠科学技术、科学技术工作必须面向经济建设的战略方针”,我国一直在不遗余力地推行产学研合作。产学研合作有利于调动企业、高等学校和科研院所的积极性,构筑从实验室研究到小试中试量产的技术成果产业化全链条,发挥科技对产业的支撑与引导作用,解决科技与经济发展两张皮的痼疾。对于像T市这样的省会城市,应如何全面、恰当地履行政府职能,进一步推进T
文本分类是自然语言处理中文本数据挖掘和知识获取的关键技术。随着互联网的快速发展,文本数据呈现爆炸式增长,主题数量剧增,文本分类变得困难。如何根据主题驱动高效管理海量的文本数据,将杂乱无章的文本数据划分到明确的主题中,进行有序管理,成为目前迫切需要解决的问题。主题驱动是指根据主题明确的文本数据为待分类的文本数据确定主题。随深度学习在图像处理、语音识别和计算机视觉等领域特征捕捉方面取得的优异成绩,本研