论文部分内容阅读
以高性能集群为代表的大规模计算系统,可具高吞吐信息服务和海量数据处理能力,无疑是”互联网+”时代覆盖国家政治、社会经济以及人们生活多领域的强有力生产工具。与此同时,信息技术(information communication technology, ICT)产业能耗占据世界能源消耗总量的比例在逐年攀升。绿色计算因为与环境保护和人类可持续发展的密切关联引起越来越多社会关注。实际上,高性能领域的能效管理也是当前数据和计算中心运行的关键问题。作为并行与分布式系统资源管理的核心,任务调度为了优化某个目标函数,其在一组具有任意特性的处理机中对任务集合进行排序和资源分配;而传统调度通常多以高性能为目标。前人的研究已经证明,即使在简化模型的情形下,绝大多数的并行任务调度问题是NP完全问题。因此,融合能效感知调度,结合硬件节能技术(例如,动态电压频率调节(dynamic voltage frequency scaling, DVFS))和实时调度的软件方法,将能效作为服务质量(quality of services, QoS)评价指标之一,是由高性能向高效能目标转变以顺应绿色计算可持续发展的有效途径,也是当前计算机科学与应用中的研究重点和难点。本文将对面向海量数据密集应用的融合能效感知异构调度模型及算法展开研究,以适应大规模计算系统低能耗、高扩展和负载均衡等服务质量需求。本文选题来源于国家高技术研究发展计划(863计划)”面向公共计算服务的网格平台研究及应用(No.2006AA01A113)”、”真实感动漫渲染系统研究与应用(No.2012AA01A306) "以及国家自然科学基金项目”面向数据密集应用的功耗感知调度研究(No.61070017)”。本课题属于高性能领域异构系统、实时动态调度、分布式人工智能和绿色可持续计算技术四者结合的交叉课题,为融合能效感知异构调度研究探索新的道路,奠定相应的理论和技术基础。随着ICT能耗持续上升、云计算商业模式日益普及和系统规模的不断扩大,本课题的研究具有重大的理论和应用价值。●本文在理论研究上,一方面通过有效量化异构系统实际DVFS处理器多维变尺度参数来建立融合能效感知的多目标优化调度模型;另一方面基于元启发式经典或新兴的代表算法,鉴于调度问题的NP完全性、环境多样性、应用新需求以及多QoS指标的折中性等,采用多学科交叉研究技术路线,提出两种新颖多目标优化调度算法。这两方面相辅相成,融为一体。●从技术上解决了调度技术面向不同环境目标的实施条件界定、资源或服务选择及调整标准、调度指标(时间、能效)的实时变化描述等问题。简言之,本文的创新点主要包括以下四个方面。1.本文提出融合能效感知的异构调度模型。旨在探索软、硬件节能技术结合带来的高效能计算特性,如何由传统同构系统延伸到异构系统,由独立任务模型发展到依赖任务模型,以及由理想DVFS处理器模型扩展到实际DVFS处理器多维变尺度模型,本文从并行实时任务的DAG (directed acyclic graph)构建出发,兼顾计算资源的异构性定义,数学表述含能耗预算在内多个计算服务质量指标,进而建立面向协同异构计算且易于复用的多目标优化调度模型;并用理论分析和实验结果证明模型在满足并行依赖任务集最优可调度性的前提下可获得更多能耗节余,尤其在高负载情况下节能效果更明显。2.本文提出支持图深度值、耦合强度排序的人工免疫调度算法。针对带有强约束且缺乏领域知识的多目标异构调度优化问题,为有效克服现有免疫算法存在的局部搜索能力差、早熟收敛、随机漫游以及最终解精度不高等主要缺陷,论文从抗体编解码技术及其亲和度多目标评估方法两方面入手,详细讨论了抗体”基因”亲和度细粒度评估、模因数学表述、基因-模因自组织协同进化模拟以及进化反馈深度模型的相关免疫学及认知心理学机理;同时,面向新近发展的混合多核CPU+GPU的高性能集群体系结构,实现粗粒度模型和主从模型相结合的算法混合并行设计。理论分析和实验结果表明了算法的有效性和高效性。3.本文提出基于离散群体智能的调度优化算法。在分析和比较已有算法的基础上,根据异构调度优化问题需要,研究支持DAG深度值、耦合强度排序的粒子向量表示方法;并基于数学知识、物理动力学和分布式人工智能等理论,提出粒子群进化的线性连续模型;设计实现自适应学习群体精英智能的局部搜索策略,以及对算法性能进行理论和实验分析。其特点是通过DAG的深度值、耦合强度排序,粒子进化的线性连续建模增强群体智能算法的全局搜索异构调度问题候选解空间能力以获得更优的Pareto近似解,以及采用自适应学习群体精英智能等策略以保持Pareto解集的良好分布性与多样性。4.本文提出相关实验评测系统和仿真方法。鉴于异构调度研究的特殊性,对本文提出调度模型和两种算法实施相关测试。仿真实验数据采用兼具不同异构性和一致性的新的大实例集,规模远大于经典文献的十二个问题实例。重点突破解决了调度技术面向不同环境目标的实施条件界定、资源或服务选择及调整标准、调度指标(时间、能效)的实时变化描述等问题。实验不仅表明新调度器的高效性及可扩展性,而且也强调了新模型对调度能效的影响,且在可实施的复杂度范围内。本文的理论分析、仿真实验和评价结果表明,本课题的研究成果既可有效降低海量数据密集应用执行过程中的能耗,还能保证系统提供的公共计算服务满足用户的多目标要求;上述模型和算法能够有效解决异构实时调度系统的能效管理问题。