面向工业大数据的数据采集系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wujielele
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据采集是工业控制和监控中的重要环节,是数据处理、分析和展示的数据来源。“工业互联网”和“工业4.0”是未来工业的发展方向,这两者的本质都是运用工业大数据和物联网技术提升工业生产力。随着物联网技术被广泛地运用在工业生产中,多种多样的传感器被大量部署在工业生产环境中,传统工业开始面临海量数据采集的问题。由于目前工业生产环境中使用传统的SCADA(Supervisory Control And Data Acquisition,监控与数据采集)采集系统存在数据融合能力、扩展能力、通用性和灵活性欠缺的问题,因此需要设计一种能克服以上问题的面向工业大数据的数据采集系统,以满足未来工业数据采集的需要。本文通过借鉴互联网行业在海量数据采集方面的成熟解决方案提出了一种面向工业大数据的数据采集系统。通过对比互联网行业和工业生产中数据采集的相同点和不同点,借鉴互联网行业中的ETL(Extract-Transform-Load,数据抽取、转换与加载)技术、分布式流数据处理技术以及消息中间件技术,优化修改这些关键技术以使其能运用于工业数据采集。采集系统使用Kafka分布式消息系统,整个采集流程如下。传感器终端将数据推送到高性能的数据采集节点,数据采集节点将采集到的数据封装成消息发布到Kafka集群,数据处理节点从Kafka集群获取数据并进行处理,将处理结果加载到数据库。数据处理节点具有良好的分布式特性,数据处理模块具有良好的可插拔特性以支持不同的数据协议和数据库系统。此采集系统能够很好的支持数据融合,具有良好的可扩展性、通用性和灵活性。在实验测试阶段,本文在5台Linux服务器组成的集群上部署了该数据采集系统,并模拟真实工业数据采集环境和数据采集模型对该系统进行了性能测试。测试结果表明该数据采集系统能够比较好的应对工业海量数据采集环境。
其他文献
脑死亡及其法医学意义谷振勇,韩业兴综述脑死亡(BrainDeath)是1968年才明确提出的现代死亡概念[1]。脑死亡不仅是医学、法医学的重要课题,还涉及法律、哲学及伦理等多学科,引起世人瞩目。作者就脑死
关于犯罪实行行为危险性的判断问题,历来争议颇大,相继有纯粹的主观说、抽象的危险说、具体的危险说以及客观的危险说、修正的客观危险说等对这一问题进行讨论。本文在深入研
<正>2006年12月,俄罗斯远东国立大学孔子学院正式揭牌成立。这是我国在俄罗斯联邦开设的第一所正式运营的孔子学院。经过中俄双方的共同努力,学院在几年的运营过程中,取得了
19世纪中期,安徽基层社会兴起了捻军与淮军。这两种原本对立的政治力量,在以宗族为背景、为基础方面,却全无二致。本文以此为出发点,进一步审视安徽基层社会的宗族势力及其与上层政
通过分析中等职业学校操行分管理的需求,设计学生操行分管理系统,使用VBA编程技术在Excel 2007环境下实现学生基本信息的导入、学生操行分的合并,以及学生处分表的生成与打印
电视摄像在科学发达的现代社会已经不再是神秘的事物,随着人们生活水平的提高,中、小型摄像机已经逐步走进千家万户,用摄像机来记录生活、工作中的点点滴滴已经成为一种时尚,
用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作是给用户贴"标签"。基于用户的查询词历史记录,提出一种用
为了能更加高效地发挥用户在跨平台收视中产生的视频大数据资产,充分挖掘视频大数据中潜在的用户基础信息和行为偏好,基于大数据构建用户画像在视频领域的应用越来越广泛。首
CPCI-E背板的设计直接影响CPCI-E系统的性能。结合行业规范,设计一种具备高兼容性的CPCI-E背板。对背板中涉及的信号完整性问题进行分析,并做出针对性设计。通过仿真的方法验
<正> "道"与"器"的本末轻重之别是从《易·系辞》中"形而上者谓之道,形而下者谓之器"开始,被很多人强调过的,人们甚至据此分出了人格和地位的高下,《周礼·考工记》中就说:"