【摘 要】
:
在飞速发展的互联网技术中,数据量的增长呈爆炸性的趋势。数据作为信息的载体,在信息化的发展过程中占有举足轻重的地位。海量数据的管理困难、高数据存储成本、低可靠性和低
论文部分内容阅读
在飞速发展的互联网技术中,数据量的增长呈爆炸性的趋势。数据作为信息的载体,在信息化的发展过程中占有举足轻重的地位。海量数据的管理困难、高数据存储成本、低可靠性和低安全性等是现在社会面临的重大难题。更多的企业开始涉足于云计算领域,使用云计算进行数据的分布式计算和管理。云计算服务的优势在于其可靠性高、易于扩展、存储容量大及处理速度快等特点,所以关于云计算服务系统的研究已经成为了IT技术进一步发展的趋势。论文以提高云计算实现平台Hadoop中的数据处理速度为目标,深入地研究了MapReduce和HDFS内部运行机制。针对Hadoop运行环境的异构性,为了使Hadoop能够根据每个计算节点的运算能力进行合理的任务分配,提出了一种改良的自适应负载调节调度算法(SALS)。该算法将Hadoop调度算法和当前系统负载水平相结合,实现了自适应的调度算法,并改进了Hadoop原始的推测执行算法,新的算法使得影响系统响应时间的掉队者能得到更精确的判定,掉队者任务的命中率得到了很大程度上提高,从而更加有效的提高整个系统的响应能力。针对Hadoop中HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题,提出一种分布式文件并行下载算法。该算法从文件整体下载效率和数据块的下载效率两方面出发,提出了相应的优化方法,并在此基础上引入P2P的多线程思想能够有效地提高系统的下载效率。在传统并行算法的基础之上,引入了一种新的速度预测函数。该函数利用平均历史下载速度和当前速度以实现对未来下载速度更精确的预测。实验证明,与Hadoop自身的下载机制相比较,该算法能明显改变系统的性能,以尽快的满足用户下载的需求。
其他文献
自然场景下进行图像采集需要具备良好的自然条件,才能获得高质量的图片,但在实际情况中,多变的自然条件经常干扰成像效果,导致采集到的图像质量下降。其中,最主要的自然条件有两种
随着标准化考场建设的推进,传统视频监控技术监控效率低、海量视频存储压力大的缺点逐渐突显出来。智能化监考系统是智能行为分析技术的一个应用方面,可以杜绝监考不严,提高
无线传感器网络(Wireless Sensor Networks, WSN)是信息化、智能化和网络化的结合,已经成为信息领域的一个重要研究方向。WSN实现了信息的获取、处理、传递,乃至系统控制的智
系统辨识一直都是控制领域研究的热点与难点。传统的辨识方法在处理非线性系统辨识上存在很多的缺点,而人工神经网络具有自适应能力、并行处理能力、自学习能力以及任意逼近非
蓬勃发展的压缩感知(Compressed Sensing)理论提供了一种非常简单有效的信号获取方式,借助于重构算法它可以用低于奈奎斯特率的采样来恢复原始信号。随着CS理论在信号处理领
发光二极管作为光源在可见光通信中被广泛使用,同时发光二极管也具有光电响应的能力,可以作为可见光通信的接收端。关于发光二极管区别于光电二极管的特性以及这些特性对通信
近20年来,光纤传感器因其质量轻、体积小、灵敏度高等优点而被广泛应用在传感和测量领域。而光纤布拉格光栅(FBG)传感器作为光纤传感器的一类产品除了具备以上特点外,还具有
随着通信用户的急剧增加,通信系统在信道容量以及通信质量方面面临着巨大的挑战。传统的窄带通信已经不能满足人们的需求,码分多址扩频通信应运而生,迎来了通信史上的一次革
图像配准是对不同时间、不同视角或不同条件下(气候、亮度、摄像位置和角度等)获取的两幅图像进行匹配和叠加的过程。图像配准技术在遥感图像处理、模式识别、医学图像分析等
随着无线技术的快速发展和无线设备的激增,对无线频谱资源的需求变得越来越旺盛。现有的固定频谱分配方案已经造成了频谱资源的极大浪费。为了去解决频谱资源稀缺和频谱利用