在金融数据分析、股票交易、网络安全等领域,产生了以“海量”,“高速”为特征的流式数据,这些数据流持续不断地到达且速度无法估计,数据的价值随着时间的流逝而减少并具有实时性、易失性、突然发性等特点。目前发展较为成熟的HDFS/MapReduce海量处理批处理框架并不能很好的对此类数据流进行实时处理。因此,大数据流式处理在某些应用领域中的地位变得越来越重要。近些年,随着流式处理领域的发展,出现了一批性能不错的分布式流处理框架例如Spark Streaming、S4、Storm、Samza等,但目前这些流处理框架在负载均衡与容错机制方面并不是很完善。负载均衡与容错机制作为流式处理系统中的关键技术,是影响系统处理能力、可靠性、稳定性的重要因素,近些年来成为了研究学者的关注热点。本文首先分析了负载均衡算法的分类及实现方法。目前主流流式处理系统在负载均衡方面使用的策略,多数为静态负载策略,不能应对动态变化的数据流对系统负载所带来的影响。本文通过对集群节点负载值进行预测,提出了一种基于预测的大数据流式处理系统动态负载均衡策略。文中引入Ganglia系统作为集群负载监测系统,分析了对集群节点负载进行预测的可行性,使用灰色马尔科夫模型对收集到的系统节点历史负载进行预测,利用得到的负载预测值进行负载决策,对需要迁移的节点和算子进行选择后实施迁移,文中对选择迁移节点的算法进行了改进,达到了较好地负载均衡效果。其次本文分析了故障恢复常用的4种恢复策略,对目前主流的流式处理系统Spark Streaming、S4、Storm、Samza进行了逐一分析,着重研究了每种系统的容错机制,指出其机制存在的不足,并结合流式数据及其处理系统的特点设计了一种针对流式计算处理集群节点失效的容错机制。本文通过实验验证了灰色马尔科夫预测模型适用于流式处理集群的负载预测。通过对比动态负载均衡算法开启前后集群负载情况验证了算法的有效性,并与其他算法进行比较,在集群处理时延和算子迁移次数两项指标上进行对比,均取得了效果上的提升,达到了集群负载均衡的效果,提升了流式计算集群的性能。