论文部分内容阅读
火电厂是燃煤大户,也是烟气污染物的主要排放源之一。随着国家对环保的日益重视,环保部门对于火电厂的烟气监测一直十分严格,而有些电厂为了达到排放要求,数据造假的现象也时有发生。因此就要求我们对烟气的排放进行实时监控。本文设计了基于云平台的电厂烟气监测系统的基本结构,分析了各个部分在整个监测系统中的功能,明确了系统开发的注意事项。在数据采集传输功能模块的部分,我们利用基于OPC的数据传输标准和基于Socket的数据传输技术进行数据的发送和接收读取。研究了云计算平台—Hadoop,其在工业中有最广泛的应用,它既是一个分布式文件系统又是一个用来并行计算的框架,Hadoop主要应用于海量数据处理、数据挖掘和日志分析领域。Hadoop包含两个主要组件HDFS—分布式文件系统以及Map Reduce—并行计算的编程模型,分别说明了他们的工作机制。在存储阶段主要针对如何存储海量烟感数据进行了详细的分析,首先通过列举烟感数据的特点,并给出了合理的存储结构。说明了基于HDFS的HBase的存储特点及数据使用方法。然后进行了系统设计及功能说明,给出了HBase数据模型,并设计了存储表结构以及如何从HBase转存成Oracle数据库数据给出了概述说明及API方法从存储调度作业角度,详细叙述了基于Map Reduce的数据存储及调度方案。在预处理作业中设计了基于HBase的预处理机制,在分析计算作业中对表的具体实施进行了分析及详细的设计和机制阐述。在数据的预处理和简化中运用粗糙集上的约简方法,针对三类数据进行了详细方案设计及流程设计,并通过Matlab软件对真实的SO2的数据进行了约简处理,最后的结果符合设计方案的预期效果。