MapReduce环境下的性能异常检测和资源调度方法

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:js_netbit
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce是由Google提出的一个广为人知的编程框架,Hadoop开源实现了这一框架。因为MapReduce适合处理大规模数据,许多企业都采用其进行数据挖掘,数据存储等。MapReduce需要一个调度策略来决定工作如何执行以及工作执行过程中的资源分配,目前许多调度策略主要是为了提高集群资源利用率,而没有充分考虑一个工作对于完成时间的要求。此外,MapReduce是一个架构在廉价设备上的十分复杂的系统,经常会有异常发生,能否及时检测到系统的异常并进行处理对于系统的正常高效运行十分重要。本文针对以上的两点问题进行了研究:1)针对资源调度问题,本文提出了一种调度机制以保证集群中运行的每个工作都能够按时完成,从而达到其性能要求。和其他的调度策略相比,本文的方法能够预测一个工作的运行状况,并根据预测结果合理地分配资源给每个工作,以尽量避免不必要的资源浪费。调度策略在一个仿真环境中进行了评估,结果表明本文的方法能够保证工作在其预期时间内完成并能够节省资源。2)针对异常检测问题,本文提出并分析了一种MapReduce环境下的异常检测方法。该方法基于相似节点理论,通过运用密度聚类的方法实时分析系统的性能指标来检测异常。本文还对相似节点理论和异常检测算法进行了实验验证。和现有的其他方法相比,本文提出的方法具有处理过程简单、算法复杂度低、检测灵敏度高且适于在线和离线检测的优点。
其他文献
随着网络技术的迅速发展,网络已经广泛地应用于社会的各行各业。在各行业越来越依赖于计算机网络的同时,网络中设备的种类也越来越多。不同种类网络设备的管理方式和认证方式也
随着资产数字化技术的快速发展,互联网端到端价值交换成为学术界和产业界关注的焦点。与信息不同,价值具有不可复制性、唯一性和归属性等特点,现有的互联网体系由于在设计之初旨
互联网快速发展,各类网络应用给大众生活带来便捷,同时也给网络监控和管理带来了巨大的挑战,如P2P应用流量逐年上涨,互联网服务提供商(ISP)不得不对该类型流量做适当策略限制,以免
随着计算机网络技术的发展,计算机的应用领域的不断扩展,政府机关、商业企业等机构的日常运行越来越依靠计算机信息系统,计算机信息系统的安全引起人们的高度的重视,对计算机
传统移动性管理技术普遍采用集中式分层式设计方式。随着移动互联网不断发展以及移动设备的普及化,现有的移动性管理问题日益凸显,传统移动型管理方式所带来的瓶颈问题以及单
该论文首先对HFC网的拓扑结构、体系结构、信道特点和网络业务等方面进行了充分研究,在此基础上,综合考虑现有电话网和数据网的特点,以实现"三网合一"为目标,提出了一种基于H
随着互联网的持续深入发展,尤其是电子商务和移动互联网浪潮的兴起,网站请求数目和网络流量都爆发式地增加,这种高流量高并发的网络流特征对网络服务器的性能和稳定性提出了严峻
学位
随着各种网络技术的快速发展与产品的普及,以及用户和业务种类的不断增加,网络变得越来越复杂。而且,与日俱增的用户和应用,导致网络负担沉重,从而引起网络性能下降,这就提出
DTS是基于软件缺陷模式的静态测试工具,采用了函数摘要的相关方法进行过程间分析,但目前由于函数摘要中缺少路径信息,缺陷检测往往存在一定的误报和漏报。本文针对这种问题提