论文部分内容阅读
摘要：随着人们生活水平的不断提高，日常用电量不断增加，用电数据采集系统的弊端逐渐显露出来。本文从对用电数据采集系统研究出发，结合实际数据收集情况，总结出用电数据采集系统中大数据分析的应用方式，即对数据的载入与存储、对数据进行计算、深度挖掘相关数据。
关键词：大数据分析技术;数据采集;数据计算
引言：用電数据采集系统是通过采集和分析终端客户的用电量和变压器的配对数据，监控住户实际用电量、为阶梯电价提供依据、分析线路损坏的的原因、管理超负荷的电路，最终实现住户合理使用电力、减少电路损坏、降低能源损耗、节约用电费用的目的。用户可以自主的查询相关用电量，进行合理调配。
用电数据采集系统研究
2005年2月2日国家国务院发布了《电力监管条例》，要求电力监管机构对电力企业、电力调度交易机构执行电力市场运行规则的情况，以及电力调度交易机构执行电力调度规则的情况实施监管。加强对电力的合理分配，保障居民的正常用电量。为了进一步加强对电力的管理，维持生态稳定，国家于2011年1月实施了《电力需求侧管理办法》，明确了应该做好市场分析，做好资源调配管理;根据各地的实际情况制定相应的侧需求管理，节约资源;制定阶梯电价，鼓励居民避开高峰期;发掘潜在用户，为期提供节能服务，加强对用户的用电情况的数据分析，制定用电管理。
用电数据采集系统具有自动抄表、电能数据分析、系统运行分析、主站运行监测的特征。自动抄表的流程为电表安装，然后进行自动抄表投运，进而执行自动抄表，其中失败的数据在由人工进行，接着汇总统一上传抄表任务，最后自动结算出账单。电能数据分析是按照年、季度、月、日、时段的时间范围，对电量、负荷、电压、电流数据进行分析。系统运行分析是对采集成功率、抄表成功率、终端实时在线率、终端运行在线监视、电表运行状态监视进行分析。主站运行监测是由主站设备、网络设备、GPS时钟、服务模块、数据库组成。
二、用电数据采集系统中大数据分析的应用方式
数据载入和存储
原有的用电数据采集系统是将在终端采集的数据统一存储到磁盘中，但是这样存在很大弊端，因为磁盘一旦损坏，就会导致数据流失，给企业带来经济损失，影响正常的分析与运营工作。如今把大数据技术应用到用电数据采集系统中去，实行分布式的存储方法，使用模块或者设置节点的方式通过集群的方式将资源系统化，使的企业用较低的硬件成本和较高的灵活性，搭建自身的用电数据采集系统[1]。在实际采集中使用Flume，对数据进行收集整理后进行输送，在完成前会进行自动备份，完成后会自动删除，保障了数据的安全稳定性。Agent是Flume的运行的重中之重，是一个结构完善的收据收集工具。Agent是由source、channel、sink这三部分组成的。Source可以接受外部发送的数据，可以根据不同的数据调整对应的格式，可以监测文件中数据的变化。Channel具有存储的功能，它接受Source的数据。Channel中的数据只有进入下一个终端，才会删除现有的数据，当sink写入失败后，系统又会自动重启，保障数据的安全。
数据计算
大数据技术在用电数据采集系统中的数据计算方式分为两种即实时计算和离线计算。离线计算是指在计算前已经获知所有数据，实施计算不会对原有数据造成影响。在离线计算中，运用Hdfs进行数据存储，通过MapReduce实现数据的大批量计算整合，计算整合后的数据统一存储到Hive中，进行统一展示。离线计算具有能够计算大量数据且保存时间长，可以多次的进行批量计算，保存原有的数据，快速查询计算结果的特点。实时计算是指可以以序列化的方式一个个输入相应的数据，不必再一开始的时候就获知所有的数据。传统的整理方式是，先进行数据的收集工作，之后汇总到电脑中，在需要时在进行系统搜索，这一过程虽然比较方便，但是没有进行合理调配，浪费了大量时间。
目前采取离线计算和实时计算的方式针对不同情况作出分析，可以准确的把握数据节约成本。Hadoop是离线计算的框架，具有高可靠性、高效性、高扩展性、高容错性、低成本的特点[2]。Hadoop适用于整合电流曲线等系统场景，可以清晰地呈现一段时间内的电流变化。Spark是实时计算的框架，具有支持交互式计算和复杂计算的特点，主要应用于计算本身。Spark适用于统计某一时段的用电情况，分析实时用电量。
数据的深度挖掘
用电信息采集系统每年接收的和处理的数据非常繁杂，例如全国每年用电信息采集系统接收的数据量的平均值就达到了5TB，对于一些大城市而言，数据量就更加庞大了。应该采用大数据技术，对相关的用电数据进行整合，分析对比挖掘其潜在的趋势，检测运营状态，促进用电采集系统可以精细化准确化的进行运转。可以运用层次聚集类挖掘、密度聚集类挖掘、关联挖掘的方法，通过数据划分测率和任务划分策略进行计算强度分析和并行化效率分析。通过算法阶段优化、组合算优化、算法迭代优化、算法服务管理，对用点预测、负荷预测、设备故障智能诊断进行分析管理。
结论：综上所述，大数分析技术能够优化用电数据采集系统，为其提供更加直观的数据分析，及时解析用电故障及价格问题。随着终端数据的增多，大数据分析技术能够起到存储和计算的功能，对数据有效整合，解决用电数据采集系统中存在的问题，细化用电结构，推动数据生态系统复合化发展。
参考文献：
[1]于小青，齐林海.基于流数据聚类算法的电力大数据异常检测[J].电力信息与通信技术，2020，18（03）：8-14.
[2]黄文思，陈婧，谷峪.基于大数据技术的营配调数据智能匹配和识别方案研究[J].通信电源技术，2019，36（05）：161-162+164.
关键词：大数据分析技术;数据采集;数据计算
引言：用電数据采集系统是通过采集和分析终端客户的用电量和变压器的配对数据，监控住户实际用电量、为阶梯电价提供依据、分析线路损坏的的原因、管理超负荷的电路，最终实现住户合理使用电力、减少电路损坏、降低能源损耗、节约用电费用的目的。用户可以自主的查询相关用电量，进行合理调配。
用电数据采集系统研究
2005年2月2日国家国务院发布了《电力监管条例》，要求电力监管机构对电力企业、电力调度交易机构执行电力市场运行规则的情况，以及电力调度交易机构执行电力调度规则的情况实施监管。加强对电力的合理分配，保障居民的正常用电量。为了进一步加强对电力的管理，维持生态稳定，国家于2011年1月实施了《电力需求侧管理办法》，明确了应该做好市场分析，做好资源调配管理;根据各地的实际情况制定相应的侧需求管理，节约资源;制定阶梯电价，鼓励居民避开高峰期;发掘潜在用户，为期提供节能服务，加强对用户的用电情况的数据分析，制定用电管理。
用电数据采集系统具有自动抄表、电能数据分析、系统运行分析、主站运行监测的特征。自动抄表的流程为电表安装，然后进行自动抄表投运，进而执行自动抄表，其中失败的数据在由人工进行，接着汇总统一上传抄表任务，最后自动结算出账单。电能数据分析是按照年、季度、月、日、时段的时间范围，对电量、负荷、电压、电流数据进行分析。系统运行分析是对采集成功率、抄表成功率、终端实时在线率、终端运行在线监视、电表运行状态监视进行分析。主站运行监测是由主站设备、网络设备、GPS时钟、服务模块、数据库组成。
二、用电数据采集系统中大数据分析的应用方式
数据载入和存储
原有的用电数据采集系统是将在终端采集的数据统一存储到磁盘中，但是这样存在很大弊端，因为磁盘一旦损坏，就会导致数据流失，给企业带来经济损失，影响正常的分析与运营工作。如今把大数据技术应用到用电数据采集系统中去，实行分布式的存储方法，使用模块或者设置节点的方式通过集群的方式将资源系统化，使的企业用较低的硬件成本和较高的灵活性，搭建自身的用电数据采集系统[1]。在实际采集中使用Flume，对数据进行收集整理后进行输送，在完成前会进行自动备份，完成后会自动删除，保障了数据的安全稳定性。Agent是Flume的运行的重中之重，是一个结构完善的收据收集工具。Agent是由source、channel、sink这三部分组成的。Source可以接受外部发送的数据，可以根据不同的数据调整对应的格式，可以监测文件中数据的变化。Channel具有存储的功能，它接受Source的数据。Channel中的数据只有进入下一个终端，才会删除现有的数据，当sink写入失败后，系统又会自动重启，保障数据的安全。
数据计算
大数据技术在用电数据采集系统中的数据计算方式分为两种即实时计算和离线计算。离线计算是指在计算前已经获知所有数据，实施计算不会对原有数据造成影响。在离线计算中，运用Hdfs进行数据存储，通过MapReduce实现数据的大批量计算整合，计算整合后的数据统一存储到Hive中，进行统一展示。离线计算具有能够计算大量数据且保存时间长，可以多次的进行批量计算，保存原有的数据，快速查询计算结果的特点。实时计算是指可以以序列化的方式一个个输入相应的数据，不必再一开始的时候就获知所有的数据。传统的整理方式是，先进行数据的收集工作，之后汇总到电脑中，在需要时在进行系统搜索，这一过程虽然比较方便，但是没有进行合理调配，浪费了大量时间。
目前采取离线计算和实时计算的方式针对不同情况作出分析，可以准确的把握数据节约成本。Hadoop是离线计算的框架，具有高可靠性、高效性、高扩展性、高容错性、低成本的特点[2]。Hadoop适用于整合电流曲线等系统场景，可以清晰地呈现一段时间内的电流变化。Spark是实时计算的框架，具有支持交互式计算和复杂计算的特点，主要应用于计算本身。Spark适用于统计某一时段的用电情况，分析实时用电量。
数据的深度挖掘
用电信息采集系统每年接收的和处理的数据非常繁杂，例如全国每年用电信息采集系统接收的数据量的平均值就达到了5TB，对于一些大城市而言，数据量就更加庞大了。应该采用大数据技术，对相关的用电数据进行整合，分析对比挖掘其潜在的趋势，检测运营状态，促进用电采集系统可以精细化准确化的进行运转。可以运用层次聚集类挖掘、密度聚集类挖掘、关联挖掘的方法，通过数据划分测率和任务划分策略进行计算强度分析和并行化效率分析。通过算法阶段优化、组合算优化、算法迭代优化、算法服务管理，对用点预测、负荷预测、设备故障智能诊断进行分析管理。
结论：综上所述，大数分析技术能够优化用电数据采集系统，为其提供更加直观的数据分析，及时解析用电故障及价格问题。随着终端数据的增多，大数据分析技术能够起到存储和计算的功能，对数据有效整合，解决用电数据采集系统中存在的问题，细化用电结构，推动数据生态系统复合化发展。
参考文献：
[1]于小青，齐林海.基于流数据聚类算法的电力大数据异常检测[J].电力信息与通信技术，2020，18（03）：8-14.
[2]黄文思，陈婧，谷峪.基于大数据技术的营配调数据智能匹配和识别方案研究[J].通信电源技术，2019，36（05）：161-162+164.