高性能集群中基于资源分区管理的作业调度

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:maradonaargentina
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高性能计算应用的需求越来越大,设计性能良好、低价格的高性能计算集群满足不同用户的需求是中小型规模高性能计算的重要目标。蓝星高性能计算平台通过图形化的并行程序提交接口、高效的作业调度策略和资源分区管理机制使系统具有操作简单、管理方便、性能良好等特点,具有很高的实用价值。高效的作业调度策略和资源管理机制是提高性能计算集群计算能力的基础。传统的集群作业调度策略多集中在如何使作业均衡调度到计算节点,提高作业调度公平性以提高系统性能,而很少考虑用户复杂多样的要求;同时复杂的作业调度策略和资源监控机制也带来了集群管理的复杂性以及扩展性差等问题。针对用户需求的复杂多样,采用资源分区管理机制使高性能计算系统能够满足不同用户的要求,提供有差别的服务质量。通过将不同的资源分区与不同权限的用户对应起来,使各个分区处于逻辑独立的状态,相互之间的作业互不干扰。同时根据分区的繁忙程度,对分区进行动态重组,能够大大简化集群系统的管理难度,保护系统的关键作业,提高系统的可靠性。基于用户需求不一致的特点,提出了一种基于用户特点的作业调度算法,该算法综合考虑用户权限、资源的可用性、作业的权值等因素,有效地提高了集群计算系统的作业调度效率和利用率,同时可缩短用户的作业响应时间,能满足不同应用领域的服务质量需求,具有较大的实际价值。实验表明,资源分区动态管理机制能够有效地管理集群计算资源,提高集群性能,使系统提供差价服务;基于用户特点的作业调度策略可以满足不同用户的作业执行需求。
其他文献
作为我国工业自动化领域第一个拥有自主知识产权并被国际电工委员会(IEC)认可的国际标准,EPA (Ethernet for Plant Automation)已经作为第十四类型被列入现场总线国际标准IEC
随着计算机技术的飞速发展,当前的计算机系统对于存储容量的要求逐步提高,存储系统逐步向磁盘虚拟存储的方向发展。磁盘虚拟存储技术作为一种面向磁盘的虚拟化技术,向用户屏
伴随着Internet网络规模的飞速增长,在计算密集型和数据密集型应用领域,传统的分布式计算和并行处理技术已不能满足高性能分布式处理和分布式海量存储管理的需求,于是网格技
随着大数据时代的的来临,如何高效地处理海量数据已经是各行各业都要面对的一个无法回避的问题。为了避免在海量数据面前出现“信息孤岛”的窘境,开发一个部署简单、计算能力
现有的资源定位机制定位模式单一,定位延迟没有保证,在可扩展性和可维护性方面存在不足,并且在资源查找过程中,消息洪泛带来的网络开销大,不适合大规模的复杂网络应用。针对
随着互联网的普及和发展,产生了许多新的应用,其中许多是高带宽需求的,如视频会议、视频点播、股市行情发布等。组播技术就是顺应这种网络应用的需要而产生的。组播技术因其
模糊查询在现实生活中非常普遍,在很多应用场合中,用户需要某些属性的目标值,但是不需要这些值的精确匹配。这些查询的结果就是一系列最符合所要求属性值的“Top-k”元组。网
随着电信业务的迅速发展,网络基础设施的建设工程日益增加,工程项目种类日益繁多,施工条件日益复杂。同时,传统的工程项目管理主要基于人工管理模式,导致项目管理效率低下,管理部门
随着机构改革的深化和现代化信息技术的发展,原有的政府办公模式已经不能适应日益增长的事务处理和信息共享等方面的要求,政府部门纷纷构建电子政务系统。政府业务过程的自动化
相比较传统的集中式的信息检索技术而言,对等计算(P2P)信息检索技术具有成本低、容错性好、可扩展性强等优点,可充分挖掘网络资源,并可提供个性化的网络服务。在面向文档资源