近年来,工业互联网在我国得到了大力发展。今年六月,工业和信息化部提出了到2020年底的总体发展目标:“我国工业互联网发展的总体目标是,到2020年底,初步建成工业互联网基础设施和产业体系。”这份计划书预示着国家对发展工业互联网的决心。工业4.0时代,物联网(IoT)和工业互联网的发展大大推动了工业制造企业的信息化。但同时,如何对工业设备进行数据采集,边缘计算和数据的实时计算成为众多工业制造企业研究的重点问题。在此背景下,本论文提出了一个基于NiFi,MiNiFi,SparkStreaming,HBase和Hive的实时工厂设备采集及计算系统。本系统中,MiNiFi和NiFi可用于工厂设备采集,并将工业数据以16进制格式使用HTTP协议发送,Kafka对各地工厂的数据进行缓存,SparkStreaming实时接收消息队列中的二进制工业数据并对其进行解析,同时对设备实时状态,设备当前生产量等关键指标进行实时计算;对于工业数据的解析结果和计算结果,可将当天数据存储到HBase(实时数据存储)和Hive(历史数据存储),方便对HBase中的实时数据做检索和展示,以及对Hive中的历史数据做数据分析及挖掘。本系统运用了分布式物联网采集终端MiNiFi及中央NiFi采集集群对分布式的采集设备做统一数据接收及基于MQTT协议的数据分发,同时运用了分布式实时流数据计算框架SparkStreaming。为搭建本文提出的优化后的工业数据实时采集与计算系统,笔者搭建了一个8个节点的物理机与虚拟机混合集群,并实现了这个可大规模拓展的实时工业设备数据采集及计算系统,改进了传统架构中存在采集,解析和存储效率低等弊端,并提高了数据传输的实时性,以及数据存储的时效性。为验证结果,笔者搭建了一个规模为20个节点的物理机与虚拟机混合集群,对基于本论文架构构建的系统做了各个子系统的物理机与虚拟机的单节点与集群性能测试,从而得到优化后系统的性能指标。