论文部分内容阅读
[摘 要]大数据的发展才刚刚起步，但大数据的时代确实已经到来。大数据在煤矿中的应用仍处于萌芽状态，但其前景是广阔的。大数据技术转变煤矿管理思维：由小数据时代的直线思维向大数据时代相关思维转变；突破事故分析的局限性，实现生产安全关口前移；监测设备运行状态，保障设备运行安全等等。本文进一步分析了大数据分析时代的煤矿安全生产信息化建设，以供同仁参考借鉴。
[关键词]大数据时代；煤矿；安全生产；信息化建设
中图分类号：TD79；TP311.13 文献标识码：A 文章编号：1009-914X（2019）11-0239-01
一、煤矿数据的基本特征分析
1.1数据信息量大且种类繁多
煤矿生产过程中会产生多种不同数据，例如机电设备运转数据、瓦斯检测数据以及工作人员相关数据等多种数据类型，同时施工单位安全管理部门在多年工作红也积累了大量数据。因为数据信息具有丰富多样的种类，包含了的非结构化、半结构化以及结构化等，比如瓦斯检测数据就属于结构化数据范畴，监控视频以及矿土资料等属于半结构化数据，现阶段随着社会不断发展，出现了越来越多的半结构化数据。
1.2数据价值密度低且产生增长速度快
因为工作人员在井下作业时会连接多种传感器与监测设备，从而对井下工作实时进行监控，这一过程中会产生海量数据，但其中真正能够起到作用的数据却微乎其微。并且当前很多工作都涉及了信息化管理，煤矿管理工作中自然也融入了这一点，信息检测系统针对煤矿安全管理不断运行会产生大量数据，并且得到了快速的持续增长。
二、大数据在煤炭行业安全生产的关键地位
2.1数据收集、整理、分析及整合
人工数据和开源数据是煤矿安全生产管理者获得大数据基础的重要方法。人工数据虽然准确率高，但其具有成本较高、自动化水平较低、易发生人为原因错误的天然缺点。与之形成对比，开源数据自动化水平较高，成本较低。尤其在信息化综合系统越来越多的应用于煤炭行业，国家安监局、煤监局等各部门通力合作，建立综合信息化平台。这对大数据的收集、整理、分析、整合及预测都会起到积极的影响。
2.2大数据存储平台为煤炭安全生产提供及时的舆情信息
当矿难发生后，在处理矿难的过程中，大数据平台为安全生产的管理者及民众告知详细信息。一方面，政府部门及监督管理部门通过官方渠道及新发展的信息通道（如We chat 等），及时有效的将相关真实信息传递给大众，此举可有效防止谣言误传。更可避免政府部门的工作陷入被动应付状态，保证灾难性事件发生之后社会的和谐稳定；另一方面，每次事故也是一次珍贵的失败实验，对此次事故详细分析，录入大数据平台，增加数据平台丰富性的同时，对类似事故的预防、发生具有重要的参考价值。
2.3大数据拓展了煤炭安全生产的综合分析
长期以来，我国煤炭行业生产安全性较差，生产效率较低，安全预警能力较差。通过引入大数据综合分析平台，可有效提高煤炭安全生产能力。有效改变煤炭行业事故率高、矿难频发的状况，如离层分析仪等数据平台的引入，可有效预警顶板事故，大大降低顶板事故伤亡率。
三、大数据分析时代的煤矿安全生产信息化建设
3.1数据源
基础数据，分别来自于选取的核心信息化系统，主要包括与人-机-环-管相关的各种静态数据和动态数据。静态数据是煤矿企业的一些基本信息数据，更新少、精度高、存储时间长、价值大且可以重复交叉使用，应尽可能采集全量数据。动态数据主要包括实时获取的各种日志访问数据、传感器数据、各系统的业务数据，数据来源多、连续不断、格式不统一、价值密度较低、采集困难、融合复杂，应充分考虑多源数据抽取与融合所涉及的概念、实例、属性、关系、重复冗余、实时性、可扩展性等问题。
3.2数据采集
通过对核心信息化系统数据库表的分析，划分基础数据采集类别，确定采集目标、采集要素、采集设备、采集流程，采集录入各种静态数据和动态数据。针对采集到的数据存储需求，利用分布式存储设备，借助于应用软件或应用接口，将集群功能、分布式文件系统、网格计算等功能联合起来协同工作，提供不同类型的数据存储服务和数据访问服务。配置与不同数据来源、不同存储形式和接口的基础数据访问适配器，并通过 ETL 工具进行数据的抽取、数据质量的净化、转换以及最后的数据加载处理，在此过程中需要对系统涉及的基础元数据内容进行事先的整理与维护，为后续数据管理与转换等工作奠定基础。
3.3数据存储
煤矿大数据存储主要包括数据活动区与数据归档两个方面。数据活动区的目的是实现历史数据和信息被系统、科学、长期地保存，以备企业决策管理、上级或第三方机构监管之用。归档是企业有效管理多媒体应用数据资产、降低成本、有效管理与高效利用数据、保证数据安全的重要手段。
3.4数据计算平台
数据计算平台是核心数据存储与计算平台，以 HDFS 分布式文件系统和 YARN 分布式计算框架为基础，数据存储于H Base 高性能、面向列分布式数据库，并利用 Hive 对抽取的核心系统业务数据内容进行计算，通过 IM Pa la 提高大数据的计算效率，可根据业务主题提供相关维度数据的高效计算能力，并采用分布式的集群技术进行部署与应用计算，以保证 系统具有良好的计算能力、伸缩性和可扩展性。
3.5数据分析应用
对存储于数据计算平台的大数据内容根据业务主题等进行多维度的數据分析与挖掘、知识评价。系统主要采用基于关联规则的数据挖掘算法及多标签关联分类算法进行关联分析，并进行相应算法的优化调整，对人-机-环-管监测监控数据等内容开展分析，根据分系统业务范畴进行危险源特征、属性的多维度分析。
3.6数据处理方式 数据处理方式采用批量的离线计算以及流式的实时计算方式，从而保证数据分析结果内容展现的快速性、完整性。离线计算适用于先存储后计算，对数据的准确性、系统性和全面性要求较高的情况。流式实时计算主要处理各种系统平台的日志数据、传感器数据、Web 数据，因为数据来源多、格式复杂、连续不断且实时性高，要求相应的处理工具具有高性能、容错性、可扩展性等特性。
3.7界面展现
界面展现即客户端，利用可视化的界面交互方式，客户通过终端输入向服务器发送请求数据，系统将数据分析结果的内容展现给用户。展现界面以用户体验为设计原则，界面直观、简洁，操作方便快捷，界面功能一目了然，对用户的响应延迟科学，界面展现渠道及模式灵活多样。
四、大数据时代下煤矿安全生产信息化的发展趋势
大数据背景下的信息技术应用已经成为煤矿企业优化安全管理工作和提升企业竞争力的重要手段。随着相关技术的不断成熟和广泛应用，煤矿安全生产信息化也逐渐呈现出新的发展趋势：一是智能化。现阶段，煤矿井下检测设备以及传感器的数据采集，多数情况下还需要管理人员人为控制，由于井下作业环境复杂，因此可能会导致采集的数据信息受到干扰。随着智能化的发展，可以确保检测设备、传感器有针对性的采集进行数据信息，从而提高了数据的准确性； 二是集成化。现阶段所用的信息化系统主要分为三大模块，任何一个模块出现故障问题，都会导致安全生产管理受到影响。通过进一步加强系统的集成化建设，能够提高系统的稳定性，避免外界无关因素的干扰，确保了安全生产管理工作的持续开展。
结束语：
信息化技术能够实现煤矿生产中的系统整合，能够动态化的呈现生产的各细节，进而提高管理人员监督控制的力度，增大管理人员的管理范圍，为煤矿生产提供相关参考数据。当前，为了提高煤矿生产的安全性，企业应当强化内部信息化建设，通过大数据的分析，提炼某些具有价值的信息，通过潜在信息的总结与整理，建立健全相关管控监督机制，以促进企业的健康发展。
参考文献：
【1】马建光，姜巍.大数据的概念、特征及其应用[J].国防科技，2013（2）：10-17.
【2】马小平，胡延军，缪燕子.物联网、大数据及云计算技术在煤矿安全生产中的应用研究[J].工矿自动化，2014（4）：5-9.
[关键词]大数据时代；煤矿；安全生产；信息化建设
中图分类号：TD79；TP311.13 文献标识码：A 文章编号：1009-914X（2019）11-0239-01
一、煤矿数据的基本特征分析
1.1数据信息量大且种类繁多
煤矿生产过程中会产生多种不同数据，例如机电设备运转数据、瓦斯检测数据以及工作人员相关数据等多种数据类型，同时施工单位安全管理部门在多年工作红也积累了大量数据。因为数据信息具有丰富多样的种类，包含了的非结构化、半结构化以及结构化等，比如瓦斯检测数据就属于结构化数据范畴，监控视频以及矿土资料等属于半结构化数据，现阶段随着社会不断发展，出现了越来越多的半结构化数据。
1.2数据价值密度低且产生增长速度快
因为工作人员在井下作业时会连接多种传感器与监测设备，从而对井下工作实时进行监控，这一过程中会产生海量数据，但其中真正能够起到作用的数据却微乎其微。并且当前很多工作都涉及了信息化管理，煤矿管理工作中自然也融入了这一点，信息检测系统针对煤矿安全管理不断运行会产生大量数据，并且得到了快速的持续增长。
二、大数据在煤炭行业安全生产的关键地位
2.1数据收集、整理、分析及整合
人工数据和开源数据是煤矿安全生产管理者获得大数据基础的重要方法。人工数据虽然准确率高，但其具有成本较高、自动化水平较低、易发生人为原因错误的天然缺点。与之形成对比，开源数据自动化水平较高，成本较低。尤其在信息化综合系统越来越多的应用于煤炭行业，国家安监局、煤监局等各部门通力合作，建立综合信息化平台。这对大数据的收集、整理、分析、整合及预测都会起到积极的影响。
2.2大数据存储平台为煤炭安全生产提供及时的舆情信息
当矿难发生后，在处理矿难的过程中，大数据平台为安全生产的管理者及民众告知详细信息。一方面，政府部门及监督管理部门通过官方渠道及新发展的信息通道（如We chat 等），及时有效的将相关真实信息传递给大众，此举可有效防止谣言误传。更可避免政府部门的工作陷入被动应付状态，保证灾难性事件发生之后社会的和谐稳定；另一方面，每次事故也是一次珍贵的失败实验，对此次事故详细分析，录入大数据平台，增加数据平台丰富性的同时，对类似事故的预防、发生具有重要的参考价值。
2.3大数据拓展了煤炭安全生产的综合分析
长期以来，我国煤炭行业生产安全性较差，生产效率较低，安全预警能力较差。通过引入大数据综合分析平台，可有效提高煤炭安全生产能力。有效改变煤炭行业事故率高、矿难频发的状况，如离层分析仪等数据平台的引入，可有效预警顶板事故，大大降低顶板事故伤亡率。
三、大数据分析时代的煤矿安全生产信息化建设
3.1数据源
基础数据，分别来自于选取的核心信息化系统，主要包括与人-机-环-管相关的各种静态数据和动态数据。静态数据是煤矿企业的一些基本信息数据，更新少、精度高、存储时间长、价值大且可以重复交叉使用，应尽可能采集全量数据。动态数据主要包括实时获取的各种日志访问数据、传感器数据、各系统的业务数据，数据来源多、连续不断、格式不统一、价值密度较低、采集困难、融合复杂，应充分考虑多源数据抽取与融合所涉及的概念、实例、属性、关系、重复冗余、实时性、可扩展性等问题。
3.2数据采集
通过对核心信息化系统数据库表的分析，划分基础数据采集类别，确定采集目标、采集要素、采集设备、采集流程，采集录入各种静态数据和动态数据。针对采集到的数据存储需求，利用分布式存储设备，借助于应用软件或应用接口，将集群功能、分布式文件系统、网格计算等功能联合起来协同工作，提供不同类型的数据存储服务和数据访问服务。配置与不同数据来源、不同存储形式和接口的基础数据访问适配器，并通过 ETL 工具进行数据的抽取、数据质量的净化、转换以及最后的数据加载处理，在此过程中需要对系统涉及的基础元数据内容进行事先的整理与维护，为后续数据管理与转换等工作奠定基础。
3.3数据存储
煤矿大数据存储主要包括数据活动区与数据归档两个方面。数据活动区的目的是实现历史数据和信息被系统、科学、长期地保存，以备企业决策管理、上级或第三方机构监管之用。归档是企业有效管理多媒体应用数据资产、降低成本、有效管理与高效利用数据、保证数据安全的重要手段。
3.4数据计算平台
数据计算平台是核心数据存储与计算平台，以 HDFS 分布式文件系统和 YARN 分布式计算框架为基础，数据存储于H Base 高性能、面向列分布式数据库，并利用 Hive 对抽取的核心系统业务数据内容进行计算，通过 IM Pa la 提高大数据的计算效率，可根据业务主题提供相关维度数据的高效计算能力，并采用分布式的集群技术进行部署与应用计算，以保证 系统具有良好的计算能力、伸缩性和可扩展性。
3.5数据分析应用
对存储于数据计算平台的大数据内容根据业务主题等进行多维度的數据分析与挖掘、知识评价。系统主要采用基于关联规则的数据挖掘算法及多标签关联分类算法进行关联分析，并进行相应算法的优化调整，对人-机-环-管监测监控数据等内容开展分析，根据分系统业务范畴进行危险源特征、属性的多维度分析。
3.6数据处理方式 数据处理方式采用批量的离线计算以及流式的实时计算方式，从而保证数据分析结果内容展现的快速性、完整性。离线计算适用于先存储后计算，对数据的准确性、系统性和全面性要求较高的情况。流式实时计算主要处理各种系统平台的日志数据、传感器数据、Web 数据，因为数据来源多、格式复杂、连续不断且实时性高，要求相应的处理工具具有高性能、容错性、可扩展性等特性。
3.7界面展现
界面展现即客户端，利用可视化的界面交互方式，客户通过终端输入向服务器发送请求数据，系统将数据分析结果的内容展现给用户。展现界面以用户体验为设计原则，界面直观、简洁，操作方便快捷，界面功能一目了然，对用户的响应延迟科学，界面展现渠道及模式灵活多样。
四、大数据时代下煤矿安全生产信息化的发展趋势
大数据背景下的信息技术应用已经成为煤矿企业优化安全管理工作和提升企业竞争力的重要手段。随着相关技术的不断成熟和广泛应用，煤矿安全生产信息化也逐渐呈现出新的发展趋势：一是智能化。现阶段，煤矿井下检测设备以及传感器的数据采集，多数情况下还需要管理人员人为控制，由于井下作业环境复杂，因此可能会导致采集的数据信息受到干扰。随着智能化的发展，可以确保检测设备、传感器有针对性的采集进行数据信息，从而提高了数据的准确性； 二是集成化。现阶段所用的信息化系统主要分为三大模块，任何一个模块出现故障问题，都会导致安全生产管理受到影响。通过进一步加强系统的集成化建设，能够提高系统的稳定性，避免外界无关因素的干扰，确保了安全生产管理工作的持续开展。
结束语：
信息化技术能够实现煤矿生产中的系统整合，能够动态化的呈现生产的各细节，进而提高管理人员监督控制的力度，增大管理人员的管理范圍，为煤矿生产提供相关参考数据。当前，为了提高煤矿生产的安全性，企业应当强化内部信息化建设，通过大数据的分析，提炼某些具有价值的信息，通过潜在信息的总结与整理，建立健全相关管控监督机制，以促进企业的健康发展。
参考文献：
【1】马建光，姜巍.大数据的概念、特征及其应用[J].国防科技，2013（2）：10-17.
【2】马小平，胡延军，缪燕子.物联网、大数据及云计算技术在煤矿安全生产中的应用研究[J].工矿自动化，2014（4）：5-9.