异构环境中的PE资源控制策略研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:walger
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异构环境下的并发处理已经成为分布式系统研究领域的一个重要课题,而所处理任务的资源分配控制则是提高分布式系统并发能力的一个关键途径。在一个网络环境中,CPU、存储能力、带宽、缓存,甚至是文件、信息等都统称为网络环境中的资源。因此,针对所控制资源的不同,资源控制策略也各不相同,如果将CPU,存储等与节点性能密切相关的资源看作是PE的处理能力,那么分布式计算环境中的资源控制策略就分为面向PE处理能力的资源控制、面向带宽的资源控制以及面向服务的资源控制。本文以面向PE处理能力的资源控制为研究重点。深入探讨几种不同类型的资源控制策略。由于资源控制可分为任务划分、任务调度和资源分配三个主要的阶段,因此文中主要要解决的问题是如何通过这三个阶段的控制使得任务最终可以被有效完成。虽然优化资源控制中的任务调度策略可以增加资源控制的有效性,但传统的集中式计算技术使得计算任务调度策略随着网络规模的扩大和任务量的增加而成为瓶颈。因此单纯改进任务调度策略已经无法完全适应资源控制需求,从其他方面改进资源控制策略的性能是在所难免的。本文在研究过程中除了对传统集中式资源控制策略进行了改进,还提出了分散式的可处理DAG的资源控制策略。另外,我们基于分布式认知理论的原理,提出了一个可动态进行资源控制的模型,这个模型可以在任务性质发生变化时(例如Qos要求)动态调整资源控制的相关参数,以提高资源控制策略的灵活性和有效性。最后在几个改进策略之间用5个指标对其进行了综合分析。本文的研究工作和创新点主要包括以下几个方面:一、构建了异构网络及PE资源的数学模型及其实例--BWRAP由于已有的资源控制策略研究中缺乏一个一个完整的数学模型中对资源、任务之间的关系以及对PE资源差异和网络性能差异进行抽象。因此本文提出了一个通用的数学模型,对资源控制策略所适用的异构网络环境、异构PE资源、任务与环境之间的关系、任务与资源控制策略之间的关系进行了抽象。提出了一个实例——离散任务资源分配策略(BWRAP)模型构建。BWRAP(Balanced Workload Resource Allocation Policy)是一个应用于这个通用数学模型中的集中式资源分配策略,做为一个实例,BWRAP说明这个通用的数学模型在进行资源分配策略构建上,特别是集中式资源分配策略的构建上是有用并且有效的。二、构建了一个Master/Slave结构下可保证Qos限制的资源控制策略--MMPBWRAP是一个通用数学模型的实例,它通过任务流的任务均衡解决了离散任务流的资源分配问题,但它在构建网络环境的数学模型时忽略了网络通信的建模,由于离散任务流的任务分配主要应用在实时系统中,而不具有Qos限制的任务流处理几乎是不存在的。因此在离散任务资源控制策略中进行网络状态的建模,并保证其Qos限制是必须的。另外,其高复杂度的求解算法也无法适用于大型网络环境。本文提出了一个基于主/从结构的离散任务流资源控制策略MMP(min-max policy),通过构建代价函数为最小化系统整体响应时间来实现任务均衡。而对代价函数添加Qos限制条件则实现了资源分配对实时系统时限的保证。三、构建了一个可进行任务复制有效性检查的DAG任务资源控制策略--EDCP以上两个策略都只能针对事件驱动任务流,对于具有相互关联的DAG任务流来说,是无法适用的。已有的DAG资源控制策略中,以基于复制的策略为主。但这些策略都忽略了复制本身的开销以及复制有效性等问题。本文提出了一种改进的基于复制的集中式资源控制策略EDCP。它具有如下优点:(1)在复制过程中引入了复制有效性检查,提高复制效率;(2)在复制过程中使用2次目标函数G,通过对G的设置可以实现双目标资源控制。四、构建了一个可处理DAG的分散式资源控制策略--CDRAP由于以上提到的集中式资源控制策略都无法适用于大型网络环境(如P2P网络),因此分散式的资源控制策略成为资源控制策略的重要分支。分散式资源控制策略可以绕过集中式计算的瓶颈。但是已有的分散式资源控制策略都无法处理DAG任务流图。因为DAG图中任务间的牵制关系很难使任务本身根据局部消息来获得全局稳定。希望能够在满足DAG任务间牵制关系的前提下发挥分散式资源控制策略的优势,即资源和任务本身的高度自治化。基于以上考虑我们提出了一种基于聚类的分散式资源控制策略CDRAP。CDRAP使用消息机制来传递任务间约束关系,但是资源分配的处理则不采用传统的集中式计算,而是使用分散式计算原理(移动agent的自我判断机制)。使用处理器中间件(Broker)+订阅/发布(Subscribe/Issue)消息传递机制作为支撑结构。CDRAP可分布式处理任务间具有相互关联的任务流,并且使得普通机群高效处理大量任务成为可能。五、基于分布式认知理论的动态资源控制策略模型和4种资源控制策略的综合性能分析上述4种资源控制策略,分别适用于任务驱动和数据驱动的任务流,并且适用环境逐步向大型网络扩展。但是上述的这些策略中都是用户要求固定的资源控制。若用户对任务执行需求发生变化,那么上述的这些资源控制策略都会出现相应的瓶颈。例如可处理DAG任务图的分散式资源控制策略CDRAP,从实验数据可以看出当策略所应用的网络状况不好时,CDRAP的性能会大受影响。因此一个改进CDRAP的有效手段是使得CDRAP中移动agent的迁移策略随网络质量的变化而变化。本文受分布式认知概念启发,提出了一种基于分布式认知理论的动态资源控制模型,在该模型中,网络环境的特征会随着任务性质的变化而发生凸显变化,因此该模型对于提高资源控制策略的灵活性和有效性上具有很大帮助。最后针对上面提出的4种资源控制策略,对其进行了5个指标的综合分析。
其他文献
青少年正处于生长发育的时期,骨骼、肌肉、皮下组织、内脏器官等均处在发育阶段,其中骨骼的迅速发育表现得最为突出。有些青少年长期习惯于用双肩的一侧背书包,久而久之,则易
目的分析桂枝茯苓胶囊联合抗生素治疗慢性盆腔炎的的临床效果。方法选取于2016年11月~2017年12月前来本院就诊并确诊为慢性盆腔炎的患者120例,按入院时间顺序随机分为观察组
大脑的学习,记忆和认知等功能是由相互作用的神经元构成的神经回路来完成.因此,神经回路的理论研究对理解神经系统的功能有着至关重要的作用.本论文对局部生物神经回路,动物
自我在我们所亲熟的日常体验中总是被觉知为一个统一、独立和同一的极点式的自主体。我们是自身体验的拥有者和行动的发起者的感受是如此强烈,以至于从笛卡尔开始至今的自我
多药耐药性是近年来癌症化疗失败的主要原因,药物传递系统为逆转肿瘤细胞的多药耐药性提供了一条有效途径。以Pluronic为载体的聚合物胶束由于其自身具有可以逆转MDR的特性,
4月19日上午,全国人大常委会委员、农业与农村委员会主任委员王云龙带领的全国人大农业与农村委员会调研组莅临双汇集团,就农业产业化及龙头企业发展情况进行了调研。河南省人
分析在儿童保健过程中,对婴儿家长实施健康教育的效果。方法选取本院收治的86例婴儿家长作为观察对象,采用随机分组的方式将86例婴儿家长分成对照组和实验组,各43例。对照组采取
目的 分析研究孕妇妊娠早期的不良暴露与妊娠结局的关系。方法 采用问卷调查以及跟踪访问相结合的方式,对孕妇进行资料采集和情况调查。采集并记录孕妇在妊娠早期的年龄、TOR
<正> 马桥遗址是在1959年12月当地进行基本建设时发现的。遗址位于上海市西南方,上海县马桥镇东一公里处,遗址南面紧靠俞塘(图一)。这里地势平坦,海拔4.46—6.29米。遗址以东
脚上的几十个穴位都与五脏六腑有着密切关系。足部用药能促进气血运行、舒经活络、颐养五脏六腑。下面推荐数测验方,患者不妨对症一试。一、用川乌或草乌100克、樟脑10克、共