近年来随着计算机以及网络技术的发展,以物联网大数据为代表的实时大数据流式处理的需求使得传统的基于批量数据处理的Hadoop显得力不从心,实时流式数据处理成为近年来研究领域的热点内容之一。Storm作为大数据流式处理与并行计算框架的典型代表,在实时分析、在线机器学习、持续计算、分布式远程调用等领域有着重要的应用。随着Storm的深入应用,其在资源和任务的调度策略上的缺陷越来越突出。通信代价作为影响数据流式处理效率的重要因素,Storm调度器没有将其作为考虑因素;自带的均衡调度器依旧会导致负载不均;并行度参数需要手动配置;无法根据集群运行状况对任务重调度等等问题将影响Storm集群的运行性能。针对这些问题,本文先为Storm建立调度模型,将Topology归结为带权图,以减小通信代价并保证负载均衡为目标,提出基于启发式均衡图划分算法的调度策略;通过负载检测作为调度器的输入实现动态调度、动态并行参数优化和重调度优化,通过Topology结构分析实现静态任务分配。最终减少集群节点间的数据发送率,并且保持节点间负载均衡;减少数据处理延时,提升集群吞吐量,优化整体性能。论文主要工作如下:(1)建立Storm优化和性能检测模型。对资源和Task进行数学化描述,并建立Storm调度模型。分析Storm框架,对Worker创建性能检测线程,采集运行时性能数据并保存性能日志,建立相应的性能检测模型。(2)提出面向Storm模型的启发式均衡图划分算法及平衡性调整迭代策略。将Topology结构以及性能日志的数据转化为有向图的数学模型,将Storm的调度问题归结为均衡图划分问题。通过仿真实验对比分析证明本文的K-PART划分算法及其平衡性调整迭代优化方法效果更优。(3)实现基于图划分的调度器。利用图划分算法实现动态调度与静态分配优化;在动态调度时解决并行度参数自动优化,同时解决了重调度优化问题。最后,本文建立了Storm运行的模拟环境,通过本文优化后实现的调度器,验证调度策略对实际框架的性能提升效果。然后对全文进行总结,并分析本文尚存问题,对进一步的研究提出展望。