相较于传统能源,新能源具有储量大、污染少等优点,近年来得到迅猛发展,但因其分散性、不稳定性等缺点存在消纳困难问题,“三弃”现象严重。在智能电网中,利用需求响应充分调度负荷侧资源,是解决新能源消纳问题的重要手段之一。然而,随着智能电网、通信网络技术和智能计算技术的发展和进步,配电侧电力数据呈指数级增长、复杂程度增大,逐步构成了用户侧大数据。海量异构的电力用户数据,为电网公司进行用户用电行为分析带来了新的挑战。采用有效的数据挖掘技术对用户的用电行为进行分析,进而采取合适的需求响应策略,对实现消纳新能源有重大意义。针对电力大数据问题,本文围绕负荷特性指标提取、电力用户分布式双层聚类分析以及基于非合作博弈的负荷聚合商需求响应多时段优化调度等方面展开研究,为分析需求响应能力和客户决策提供参考依据,以促进新能源的消纳。具体内容如下:首先,基于负荷曲线,构建了刻画需求响应特征的四类负荷特性指标:时域、频域、波动性和稳定性特征,并对各类指标的含义和具体计算方法进行了分析。采用改进层次分析-熵权法对特性指标进行优选,以降低数据维度并提高算法的效率和效果。设计特性指标贡献度的评价规则,利用熵权法客观自适应地确定和更新时域特性指标的权重,弥补主观赋权的不足。对公共数据集进行了特征优选,并利用AP算法聚类,基于此进行用户用电行为分析。算例分析表明优选特征的有效性,可结合各项特性指标对各类用户的需求响应潜力进行分析,在海量电力数据分析中具有良好优势。其次,提出了分布式的双层聚类框架,设计了高效的组合聚类算法。有效的特征提取为构建分布式聚类框架奠定了基础,基于分布式算法原理,分析了双层聚类框架物理结构和计算步骤,在局部和全局聚类中分别采用改进的Kmeans和AP聚类算法,并采用评价指标对传统算法进行修正。局部Kmeans聚类算法利用SSE指标实现算法的自适应处理,全局AP聚类采用DB指标对偏向参数进行修正,优化和改善聚类数目和效果。算例分析中,根据特征优选集进行自适应聚类,通过模拟数据性能测试和对比,以及真实数据集的用户用电行为分析,证明了该算法的高效性和准确性。最后,考虑负荷分布的分散性,电网在用户侧直接进行需求响应调度较为困难,提出基于非合作博弈的负荷聚合商需求响应多时段优化调度的方法。分析影响用户参与需求响应的因素,根据特性指标进行灵活性计算,得到量化的灵活性指标,体现负荷聚合商参与需求响应的能力。在日前调度中,计及聚合商的需求响应灵活性设计非合作博弈策略,利用新能源激励电价鼓励聚合商分布式优化调度计划,通过求解纳什均衡实现聚合商日前调度利益最大化。实时调度中,以截断分布模拟为满足舒适度或节省电费而造成的用户违约量,考虑计及用户违约和实时出力不确定性的聚合商调度策略,实现其实时调度收益最大。借助修改IEEE33节点系统对模型进行验证,表明所提模型不仅能够在满足用户用电需求的同时实现聚合商收益最大,也能实现新能源的消纳,保证电网的安全经济运行。