论文部分内容阅读
异构环境下的并发处理已经成为分布式系统研究领域的一个重要课题,而所处理任务的资源分配控制则是提高分布式系统并发能力的一个关键途径。在一个网络环境中,CPU、存储能力、带宽、缓存,甚至是文件、信息等都统称为网络环境中的资源。因此,针对所控制资源的不同,资源控制策略也各不相同,如果将CPU,存储等与节点性能密切相关的资源看作是PE的处理能力,那么分布式计算环境中的资源控制策略就分为面向PE处理能力的资源控制、面向带宽的资源控制以及面向服务的资源控制。本文以面向PE处理能力的资源控制为研究重点。深入探讨几种不同类型的资源控制策略。由于资源控制可分为任务划分、任务调度和资源分配三个主要的阶段,因此文中主要要解决的问题是如何通过这三个阶段的控制使得任务最终可以被有效完成。虽然优化资源控制中的任务调度策略可以增加资源控制的有效性,但传统的集中式计算技术使得计算任务调度策略随着网络规模的扩大和任务量的增加而成为瓶颈。因此单纯改进任务调度策略已经无法完全适应资源控制需求,从其他方面改进资源控制策略的性能是在所难免的。本文在研究过程中除了对传统集中式资源控制策略进行了改进,还提出了分散式的可处理DAG的资源控制策略。另外,我们基于分布式认知理论的原理,提出了一个可动态进行资源控制的模型,这个模型可以在任务性质发生变化时(例如Qos要求)动态调整资源控制的相关参数,以提高资源控制策略的灵活性和有效性。最后在几个改进策略之间用5个指标对其进行了综合分析。本文的研究工作和创新点主要包括以下几个方面:一、构建了异构网络及PE资源的数学模型及其实例--BWRAP由于已有的资源控制策略研究中缺乏一个一个完整的数学模型中对资源、任务之间的关系以及对PE资源差异和网络性能差异进行抽象。因此本文提出了一个通用的数学模型,对资源控制策略所适用的异构网络环境、异构PE资源、任务与环境之间的关系、任务与资源控制策略之间的关系进行了抽象。提出了一个实例——离散任务资源分配策略(BWRAP)模型构建。BWRAP(Balanced Workload Resource Allocation Policy)是一个应用于这个通用数学模型中的集中式资源分配策略,做为一个实例,BWRAP说明这个通用的数学模型在进行资源分配策略构建上,特别是集中式资源分配策略的构建上是有用并且有效的。二、构建了一个Master/Slave结构下可保证Qos限制的资源控制策略--MMPBWRAP是一个通用数学模型的实例,它通过任务流的任务均衡解决了离散任务流的资源分配问题,但它在构建网络环境的数学模型时忽略了网络通信的建模,由于离散任务流的任务分配主要应用在实时系统中,而不具有Qos限制的任务流处理几乎是不存在的。因此在离散任务资源控制策略中进行网络状态的建模,并保证其Qos限制是必须的。另外,其高复杂度的求解算法也无法适用于大型网络环境。本文提出了一个基于主/从结构的离散任务流资源控制策略MMP(min-max policy),通过构建代价函数为最小化系统整体响应时间来实现任务均衡。而对代价函数添加Qos限制条件则实现了资源分配对实时系统时限的保证。三、构建了一个可进行任务复制有效性检查的DAG任务资源控制策略--EDCP以上两个策略都只能针对事件驱动任务流,对于具有相互关联的DAG任务流来说,是无法适用的。已有的DAG资源控制策略中,以基于复制的策略为主。但这些策略都忽略了复制本身的开销以及复制有效性等问题。本文提出了一种改进的基于复制的集中式资源控制策略EDCP。它具有如下优点:(1)在复制过程中引入了复制有效性检查,提高复制效率;(2)在复制过程中使用2次目标函数G,通过对G的设置可以实现双目标资源控制。四、构建了一个可处理DAG的分散式资源控制策略--CDRAP由于以上提到的集中式资源控制策略都无法适用于大型网络环境(如P2P网络),因此分散式的资源控制策略成为资源控制策略的重要分支。分散式资源控制策略可以绕过集中式计算的瓶颈。但是已有的分散式资源控制策略都无法处理DAG任务流图。因为DAG图中任务间的牵制关系很难使任务本身根据局部消息来获得全局稳定。希望能够在满足DAG任务间牵制关系的前提下发挥分散式资源控制策略的优势,即资源和任务本身的高度自治化。基于以上考虑我们提出了一种基于聚类的分散式资源控制策略CDRAP。CDRAP使用消息机制来传递任务间约束关系,但是资源分配的处理则不采用传统的集中式计算,而是使用分散式计算原理(移动agent的自我判断机制)。使用处理器中间件(Broker)+订阅/发布(Subscribe/Issue)消息传递机制作为支撑结构。CDRAP可分布式处理任务间具有相互关联的任务流,并且使得普通机群高效处理大量任务成为可能。五、基于分布式认知理论的动态资源控制策略模型和4种资源控制策略的综合性能分析上述4种资源控制策略,分别适用于任务驱动和数据驱动的任务流,并且适用环境逐步向大型网络扩展。但是上述的这些策略中都是用户要求固定的资源控制。若用户对任务执行需求发生变化,那么上述的这些资源控制策略都会出现相应的瓶颈。例如可处理DAG任务图的分散式资源控制策略CDRAP,从实验数据可以看出当策略所应用的网络状况不好时,CDRAP的性能会大受影响。因此一个改进CDRAP的有效手段是使得CDRAP中移动agent的迁移策略随网络质量的变化而变化。本文受分布式认知概念启发,提出了一种基于分布式认知理论的动态资源控制模型,在该模型中,网络环境的特征会随着任务性质的变化而发生凸显变化,因此该模型对于提高资源控制策略的灵活性和有效性上具有很大帮助。最后针对上面提出的4种资源控制策略,对其进行了5个指标的综合分析。