论文部分内容阅读
数据采集是工业控制和监控中的重要环节,是数据处理、分析和展示的数据来源。“工业互联网”和“工业4.0”是未来工业的发展方向,这两者的本质都是运用工业大数据和物联网技术提升工业生产力。随着物联网技术被广泛地运用在工业生产中,多种多样的传感器被大量部署在工业生产环境中,传统工业开始面临海量数据采集的问题。由于目前工业生产环境中使用传统的SCADA(Supervisory Control And Data Acquisition,监控与数据采集)采集系统存在数据融合能力、扩展能力、通用性和灵活性欠缺的问题,因此需要设计一种能克服以上问题的面向工业大数据的数据采集系统,以满足未来工业数据采集的需要。本文通过借鉴互联网行业在海量数据采集方面的成熟解决方案提出了一种面向工业大数据的数据采集系统。通过对比互联网行业和工业生产中数据采集的相同点和不同点,借鉴互联网行业中的ETL(Extract-Transform-Load,数据抽取、转换与加载)技术、分布式流数据处理技术以及消息中间件技术,优化修改这些关键技术以使其能运用于工业数据采集。采集系统使用Kafka分布式消息系统,整个采集流程如下。传感器终端将数据推送到高性能的数据采集节点,数据采集节点将采集到的数据封装成消息发布到Kafka集群,数据处理节点从Kafka集群获取数据并进行处理,将处理结果加载到数据库。数据处理节点具有良好的分布式特性,数据处理模块具有良好的可插拔特性以支持不同的数据协议和数据库系统。此采集系统能够很好的支持数据融合,具有良好的可扩展性、通用性和灵活性。在实验测试阶段,本文在5台Linux服务器组成的集群上部署了该数据采集系统,并模拟真实工业数据采集环境和数据采集模型对该系统进行了性能测试。测试结果表明该数据采集系统能够比较好的应对工业海量数据采集环境。