分布式数据文件合并系统任务调度的研究与设计

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:sdlzwzl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前数据文件合并系统朝着“物理上分散,逻辑上集中”的这种趋势发展,分布式数据文件合并系统应运而生。在分布式数据文件合并系统中,任务分配与调度在很大程度上决定着整个系统的资源利用率,因此它是分布式数据文件合并系统研究的重点和难点之一。本课题就是针对分布式数据文件合并系统的任务调度功能进行研究与设计。由于分布式数据文件合并系统一般都是基于中间件架构的,对比其他的中间件,消息中间件能够利用高效可靠的消息传递机制进行与平台无关的数据交流,具有异步通信,松耦合,占用网络带宽小等显著优点,因此本课题中分布式数据文件合并系统采用了消息中间件技术。 本课题针对一个具体的基于消息中间件的分布式数据文件合并系统,怎样实现这个系统的任务调度功能进行了设计与实现,同时,分析了现有系统在任务调度上存在的缺陷,提出了改进的方法,并且进行了具体的设计与实现。本文的工作主要体现在两个方面:一个是对现有系统在任务调度功能上所涉及到的模块进行设计与实现,另外一个就是对现有系统在任务调度功能上存在的缺陷作了改进,改进的具体方式是在消息的发送中考虑消息的优先级,而消息的优先级通过两种方式来进行设置:一种是人工设置,这样,可以人为控制数据文件合并的先后次序,另外一种方法是系统估计合并操作时间,本系统有两种方式估计合并操作时间,一种是根据规则文件的大小,如果合并操作所依据的规则文件小,则赋予这次合并操作对应的消息赋予较高的优先级,反之则否。一种是根据此次合并操作区域大小,如果合并区域小,则赋予这次合并操作对应的消息赋予较高的优先级,反之则否。通过这两种方式,系统最后达到短作业优先处理的目标。通过实践验证,改进后的系统比改进前的系统更加完善。
其他文献
由于XML正日益成为互联网上事实上的数据存储、交换、表示的标准。随着XML应用的普及,对XML文档查询的要求也越来越高。传统的关系型数据库由于关系模型本身的局限性,不能很
信息社会中信息资源就像空气一样不可缺少,成了最重要的社会资源,信息资源共享和利用是信息化社会的必然趋势。资源库的建设为信息资源共享提供了渠道。 近年来,资源库得
物联网的快速发展在给人们带来便利的同时,也带来了极大的安全隐患。本文在分析传统物联网网络安全保障技术缺陷的基础上,利用虚拟化技术提出了更适合于物联网服务运行环境的
产品特征码自动识别技术是在自动化生产的一个崭新的应用。在生产当中经常有产品和产品的特征码不符的情况发生,所以在产品入库之前必须要进行检查。目前产品这项工作都是由
复杂区域刺绣算法是刺绣CAD系统中的核心算法之一。该算法用于为刺绣花样中包含的复杂区域进行自动编针。 近年来,有很多针对该算法的研究,使算法效率由低到高,功能日臻完
自从上世纪九十年代提出了因特网的概念,网络正在人类社会生活的各个方面得到越来越多的应用。网络技术也经受着翻天覆地的变化。近年来,对等网络和无线网络已经成为新的研究热
字符是电脑刺绣CAD系统中使用率很高的一种图案,随着计算机技术、机械制造技术、CAD技术的发展以及人们对字符绣品的要求日益提高,字符自动编针算法在刺绣CAD系统中的地位显
无线传感器网络是当前的研究热点。无线定位是无线传感器网络研究的重要课题之一。迄今已经出现了很多无线定位技术以及实验性或商用性的定位系统。这些技术或系统各有千秋。
随着我国经济的快速发展,流动人口和汽车数量正在以前所未有的速度增加,以手工录入为主的传统人口和交通管理系统难以胜任,智能人口和交通管理势在必行。汽车牌照识别和证件
近年来随着Internet的飞速发展,网络安全正面临着越来越严峻的挑战。传统的防御策略,诸如防火墙、加密、身份认证以及访问控制、操作系统加固等静态安全防御策略已经无法满足