论文部分内容阅读
作为一种新兴的计算模式,云计算是并行计算、分布式计算和网格计算的综合发展,或者说是这些计算科学概念的商业实现,同时它也是虚拟化技术、效用计算、将基础设施作为服务、将平台作为服务和将软件作为服务等概念混合演进并跃升的结果。首先从业界中不同角色给出的云计算定义出发,研究总结云计算的主要特征和分类,并解析几大主流商业云计算平台方案和服务,横向比较它们的服务类型、运行环境、计费方式以及编程语言等,帮助云用户选择最合适自己的方案。从经济学的角度研究云计算资源管理,将云计算环境下的资源供求关系与市场经济模型进行类比,把云市场概念引入到云资源管理模型中。结合云计算的特点,提出一个基于云市场的资源管理模型,阐述云市场中各个部分的职能、云市场交易流程以及用户和云提供商之间的谈判过程。其中,引入的智能推荐系统能够帮助云用户更快捷更准确地选择合适的计算资源,提高市场交易效率。另外,签署的服务等级协议保障了云提供商和云用户双方的利益。云计算的技术特征和规模效应,使得越来越多的企业或者个人使用云计算。基于云市场的资源管理模型的构建,对于云计算的全球化市场的发展有前瞻效应。MapReduce不仅是一种编程模型,同时也是一种高效的任务调度模型。Hadoop平台作为一个开源能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架。文中详细分析Hadoop平台中MapReduce型作业的工作原理,解析现有的作业调度算法(包括先来先出调度、公平份额调度和计算能力调度)的设计思想和优缺点。在现有调度算法基础上,文中提出一种基于未完成的子任务百分比的作业调度算法,动态分配计算资源,并结合了数据本地性。最后,通过一系列基准程序测试,改进的调度算法相对于先来先出调度算法能更好地改善系统响应时间和吞吐率,提高资源利用率。相对于公平份额调度算法,改进调度算法一定程度上拖慢了小用户的执行进度,但整体上提高了作业的执行效率。