随着信息技术的飞速发展,近年来互联网产生的数据呈爆发式增长,诸如Storm,Spark和S4等大数据处理框架也在这一背景下顺势而生。数据的激增也带来了处理数据能耗的增长,而Storm作为主流的大数据实时处理框架,实现Storm平台的节能调度对于大数据节能有着重要的意义。本文深入研究和分析了Storm的组成和工作原理,同时详细阐述了Storm的调度算法与大数据节能的相关研究。Storm原生的调度算法没有把能耗作为调度的考虑因素,在实际任务处理过程中,由于任务对于资源需求的差异性可能会带来过多的能量浪费。针对以上问题,提出了对应的优化调度算法并用实验加以验证。论文主要工作如下:1.提出了一种基于能耗感知的Storm节能调度算法。在Storm体系架构中加入能耗监控模块和持久化模块,同时对节点处理任务的能耗进行排序,通过整合任务到低能耗节点来实现降低集群处理任务能耗的目的。通过实验对比,在处理相同数据量的条件下,基于能耗感知的Storm节能调度算法相较于默认调度算法降低了35%左右的总能耗。2.提出了一种改进的能耗感知的Storm节能调度策略。通过对集群中低能耗节点的Slot使用率进行排序,优先分配Slot使用率低的节点进行任务处理,使集群负载更加均衡,提升了Storm的整体性能。改进后的节能调度策略能在满足SLA(服务等级协议)的条件下,同时降低集群处理任务的总能耗。通过实验与默认调度算法相比,集群处理任务的总能耗下降了25%左右,同时集群负载状态和处理任务的完成时间均优于基于能耗感知的节能调度算法。本文研究工作表明,改进后的调度算法能有效地降低Storm集群处理任务的总能耗,并且能在满足SLA条件的同时降低处理任务的总能耗,对于大数据节能具有重要意义。