随着大数据时代的到来,与日俱增的数据量、计算量极大地提高了数据处理的难度。对于流数据处理技术而言,不仅受数据量的影响,同时也和数据的实时性息息相关,实时且准确的数据往往可以为场景预测提供最有效的支撑。因此,流数据处理任务的实时性以及任务负载越来越受到人们的关注。对于流数据处理技术而言,在任务运行于分布式集群时中主要面临以下几个问题:1)流数据处理任务与系统层不互相感知,集群无法根据任务层负载动态调整系统资源2)集群系统层的资源需要人为地进行调控,无法做到自动化调整节省资源损耗3)当前通用的流数据处理框架,其自带的调度算法无法满足针对任务负载动态修改调度方案的需求。针对流数据处理数据的实时性及集群资源利用的高效性问题,本文提出了以中间件调度器为基础,对任务层资源和系统层资源进行协调沟通的资源调度模型。主要工作是:(1)提出了三层资源调度模型,将任务层资源调度器及系统层资源调度器通过中间件调度器连结起来。任务层资源调度器通过对流数据处理任务实时延迟的监测,通过基于排队论的动态资源调度模型,对任务资源分配制定合理策略。系统层资源调度器接收来自中间件调度器的资源调整消息,并根据当前分布式系统中资源节点的使用情况,对资源进行动态地增减,从而满足任务层的资源调整需求。并通过对系统层资源的把控,减少集群资源的无意义损耗。(2)在资源调度模型的基础上,本文进一步提出了基于多任务场景下的资源协同分配算法。该算法基于系统预设的任务管理权重,通过对各种分配策略模拟下的系统延迟进行比较,得出最符合当前系统利益的资源分配方案,并通过资源调度模型,对计算后的方案进行处理。从而使系统的延迟达到基于任务权重所能达到的最佳位置。本文基于Storm on yarn来实现资源调度模型及多任务的资源协同分配算法,通过实验,证明了资源调度模型可以动态地准确调整系统资源的分配,同时,多任务的协同分配算法对多任务场景下的资源分配也同样起到合理的分配结果。通过与原生的Storm On Yarn资源管理框架对比,结果表面了三层资源调度模型在流数据处理任务的动态资源调整方面效果更佳。