论文部分内容阅读
摘要：铁路作为国家重要的基础运输设施和国民经济发展的主要动脉，承担着旅客和货物运输的重担，铁路运输安全是建设和发展高速铁路、和谐铁路的重要保障。电务安全监控系统的开发与设计，充分利用电务既有监测系统的数据信息、网络资源、管理和指挥模式，通过集团电务处、电务段两级调度指挥中心的建设安全畅通的安全监控体系。充分满足了电务系统安全生产、应急管理的工作需要，实现了设备运行健康监控管理，为设备运行数据化管理提供了安全高效的平台。
关键词：铁路电务;安全监控;大数据
我国社会经济快速发展，伴随着日益增长的交通运输市场需求，铁路建设得到了前所未有的迅猛发展。在快速发展的铁路运输中，运输安全一直是铁路工作的生命线，加之最近十几年来高速铁路飞速发展，新型技术和装备大量投入使用，对铁路车辆安全运行提出了更高的要求。为此，通过加强安全风险管理、增强车辆保障措施及研发车辆安全监控系统是高铁路车辆安全运行的能为。现代信息技术和数据融合算法的出现，为铁路车辆安全监控系统的实施提供了理论保障。
一、铁路电务安全监控系统特征
在安全检测监控系统的使用中针对对各类安全发生的可能，由在线集中监控设备提供安全信息综合分析，反馈给处理中心得到决策支持。通过对运输、机械、工程、电器、车辆等专业已经广泛推广应用的安全检测监控方法和系统的特性、机理进行分析研究，可以总结出以下特征：
1、分布式采用多种传感技术。传感技术在铁路车辆安全检测监控系统中使用量大，监测涉及范围广。大多数检测监控系统涉及运输、机械、工程、电器、车辆、载运等多个专业，采用电子测量技术、传感技术，实现了在铁路车辆安全方面的自动化在线监测。
2、普遍采用信息化、網络化技术。自动化安全检测监控系统的使用，采用智能化、网络化、系统化技术，为铁路运输综合信息网络的建立提供技术支撑。在总公司、铁路局、站段、车间、班组、岗点之间通过网络共享车辆监控信息，由于车辆安全检测监控系统覆盖范围比较广，所以采用各不相同的监测网络，针对不同层级实现了联网运行监控。为用户提供大量信息数据服务，为运输安全保障提供了可靠的技术支撑。
3、协同配合、信息共享、互联互通的需求。铁路运输生产涉及到很多的业务和管理，大量的信息处理相当于一个大的联动机，很多业务需要网络化、信息化手段，在同级以及上下级之间搭建了分布式的联网，流转会变得更快捷。因此，不同层级系统内、系统之问的需求，需要在统一的指挥下相互配合、协同运作。为了最大程度地提高信息的综合利用价值，铁路安全监控系统必须用信息化手段将和计算机联网，衔接不同层级之间的业务流转，真正意义上使铁路各部门、各个岗位互联互通、信息共享。
二、8D系统总体架构
8D系统的总体架构设计是建立统一平台、软件平台和展示平台。统一的平台由数据库服务器、存储子系统、接口服务器、通信服务器、各应用服务器组成，满足数据存储、采集、应用分析的需要。硬件平台采用云平台架构，对 X86和小型机进行统一的虚拟化管理。统一的软件平台采用组件化设计，支持DLL 、COM等通用插件开发接口，可以模块化开发相应的分析应用插件。分析结果通过集成化展示平台进行统一展示，采用终端复示、融合显示等多种方式，实现系统的集中显示和总体展示。8D系统是构建了通信信号一体化、车地闭环化的综合大数据分析平台，实现了设备缺陷分析和故障专家诊断功能，为设备预防修、周期修、状态修、专业修创造条件。
三、8D系统数据整合技术实现
既有的电务各类生产子系统已经完成了初步的数据源采集工作。数据内容包括基础数据、历史数据、维护记录、实时采集数据等。以二进制码、图表、日志文件、视频文件等方式存储。数据整合以ETL技术为核心，包括数据采集、数据处理和数据存储。
1、数据釆集。8D系统与各类电务生产子系统之间的统一数据接口，选择采用智能采集数据接口适配器完成各类系统之间的数据交换，并采用FTP /SFTP数据通讯协议实现数据的采集传输。 1）结构化数据。采用 Sqoop工 具 完 成 数 据的收集，服务器与子系统之间用接口服务器作为中转，采用MySQL数据库。
2、半结构化和非结构化数据。半结构化数据是指日志文件、报告文件等，非结构化数据包括图像、视频、音频等。大数据平台完成这类半结构化和非结构化数据的收集工作，然后存储到平台的HDFS分布式存 储 系统中，完成数据收集目标。 实时数据的采集由各类电务生产子系统完成，各类监控系统将实时数据通过接口服务器传送至数据处理服务器，然后通过算法模型进行分布式计算。
3、数据处理。8D系统的数据处理技术主要有传统ETL 、HadoopETL和流式计算，能够完成数据的采集、清理和转换工作。传统ETL主要负责结构化数据的处理，其次完成半结构化和非结构化数据的处理;HadoopET又称为海量数据ETL处理，主要负责半结构化和非结构化数据的处理，同时也能完成部分实时数据的 处理;流式计算ETL则只负责实时数据的处理。数据传输过程中，会出现数据类 型不对等问题，通过数据清理、转换、加工等操作，可以完成数据的统一要求，解决数据无法传输的问题。
4、非实时数据采集与共享。针对电务专业非实时数据采集量较大、应用调用频繁、数据复用率高、具有长期累积分析价值等特点，平台设计了数据源定时上传FTP、平台监测文件并更新采集的方式。即对支持Kafka 方式的数据源，依然采用与实时数据采集相同的序列化字节形式的数据包上传数据;对不支持Kafka 的数据源，平台提供FTP 前置服务器，数据源通过FTP 服务定时上传CSV 格式的数据文件，平台解析后将字符串形式的数据流送入消息队列中。CSV数据文件格式则根据具体数据表和业务需求的不同，由数据服务平台与数据源、应用三方商定。对于应用层频繁调用，且同一数据可能多次重复调用的需求，数据服务平台提供了统一调用形式的RESTful 接口实现。平台将非实时数据接口分为3 类，一是与时间相关的时序数据接口，对于这类数据，应用可以通过以数据类型命名的接口，使用编码、开始时间、截止时间作为参数获取数据（此类数据采用时序存储方式，并使用时间字段作为数据表的索引，相对于关系型数据库，该设计不仅将存储空间减半，有效降低了I/O读写延时，查询速度也有极大提高）;二是与时间无关的静态数据接口，此类数据通常为履历和设备台账等基础信息，应用可以通过输入表名和SQL 查询语句获取数据;三是对有特殊需求的应用功能，平台提供受限使用的通用SQL 查询接口，该接口将SQL 语句作为唯一参数查询数据库，因此可以实现多表关联等复杂的查询功能，为应用提供丰富、灵活的数据获取方式。例如，电务设备的运行情况与运输安全密切相关，设备告警信息尤其需要重点关注，既要关注实时告警，又要对非实时的历史告警信息进行关联性分析展示。
综上所述，伴随着我国铁路向重载、高速、高密度方向发展的过程中，不仅需要依靠技术创新和优化管理，还要结合检测设备及安全监控系统的综合应用。
参考文献
[1] 马小宁，李平，史天运.铁路大数据应用体系架构研究[J].铁路计算机应用，2019.
[2] 钟 卫 国.基于大数据分析的电务安全监控技术体系的研究[J].铁路通信信号工程技术，2019.
关键词：铁路电务;安全监控;大数据
我国社会经济快速发展，伴随着日益增长的交通运输市场需求，铁路建设得到了前所未有的迅猛发展。在快速发展的铁路运输中，运输安全一直是铁路工作的生命线，加之最近十几年来高速铁路飞速发展，新型技术和装备大量投入使用，对铁路车辆安全运行提出了更高的要求。为此，通过加强安全风险管理、增强车辆保障措施及研发车辆安全监控系统是高铁路车辆安全运行的能为。现代信息技术和数据融合算法的出现，为铁路车辆安全监控系统的实施提供了理论保障。
一、铁路电务安全监控系统特征
在安全检测监控系统的使用中针对对各类安全发生的可能，由在线集中监控设备提供安全信息综合分析，反馈给处理中心得到决策支持。通过对运输、机械、工程、电器、车辆等专业已经广泛推广应用的安全检测监控方法和系统的特性、机理进行分析研究，可以总结出以下特征：
1、分布式采用多种传感技术。传感技术在铁路车辆安全检测监控系统中使用量大，监测涉及范围广。大多数检测监控系统涉及运输、机械、工程、电器、车辆、载运等多个专业，采用电子测量技术、传感技术，实现了在铁路车辆安全方面的自动化在线监测。
2、普遍采用信息化、網络化技术。自动化安全检测监控系统的使用，采用智能化、网络化、系统化技术，为铁路运输综合信息网络的建立提供技术支撑。在总公司、铁路局、站段、车间、班组、岗点之间通过网络共享车辆监控信息，由于车辆安全检测监控系统覆盖范围比较广，所以采用各不相同的监测网络，针对不同层级实现了联网运行监控。为用户提供大量信息数据服务，为运输安全保障提供了可靠的技术支撑。
3、协同配合、信息共享、互联互通的需求。铁路运输生产涉及到很多的业务和管理，大量的信息处理相当于一个大的联动机，很多业务需要网络化、信息化手段，在同级以及上下级之间搭建了分布式的联网，流转会变得更快捷。因此，不同层级系统内、系统之问的需求，需要在统一的指挥下相互配合、协同运作。为了最大程度地提高信息的综合利用价值，铁路安全监控系统必须用信息化手段将和计算机联网，衔接不同层级之间的业务流转，真正意义上使铁路各部门、各个岗位互联互通、信息共享。
二、8D系统总体架构
8D系统的总体架构设计是建立统一平台、软件平台和展示平台。统一的平台由数据库服务器、存储子系统、接口服务器、通信服务器、各应用服务器组成，满足数据存储、采集、应用分析的需要。硬件平台采用云平台架构，对 X86和小型机进行统一的虚拟化管理。统一的软件平台采用组件化设计，支持DLL 、COM等通用插件开发接口，可以模块化开发相应的分析应用插件。分析结果通过集成化展示平台进行统一展示，采用终端复示、融合显示等多种方式，实现系统的集中显示和总体展示。8D系统是构建了通信信号一体化、车地闭环化的综合大数据分析平台，实现了设备缺陷分析和故障专家诊断功能，为设备预防修、周期修、状态修、专业修创造条件。
三、8D系统数据整合技术实现
既有的电务各类生产子系统已经完成了初步的数据源采集工作。数据内容包括基础数据、历史数据、维护记录、实时采集数据等。以二进制码、图表、日志文件、视频文件等方式存储。数据整合以ETL技术为核心，包括数据采集、数据处理和数据存储。
1、数据釆集。8D系统与各类电务生产子系统之间的统一数据接口，选择采用智能采集数据接口适配器完成各类系统之间的数据交换，并采用FTP /SFTP数据通讯协议实现数据的采集传输。 1）结构化数据。采用 Sqoop工 具 完 成 数 据的收集，服务器与子系统之间用接口服务器作为中转，采用MySQL数据库。
2、半结构化和非结构化数据。半结构化数据是指日志文件、报告文件等，非结构化数据包括图像、视频、音频等。大数据平台完成这类半结构化和非结构化数据的收集工作，然后存储到平台的HDFS分布式存 储 系统中，完成数据收集目标。 实时数据的采集由各类电务生产子系统完成，各类监控系统将实时数据通过接口服务器传送至数据处理服务器，然后通过算法模型进行分布式计算。
3、数据处理。8D系统的数据处理技术主要有传统ETL 、HadoopETL和流式计算，能够完成数据的采集、清理和转换工作。传统ETL主要负责结构化数据的处理，其次完成半结构化和非结构化数据的处理;HadoopET又称为海量数据ETL处理，主要负责半结构化和非结构化数据的处理，同时也能完成部分实时数据的 处理;流式计算ETL则只负责实时数据的处理。数据传输过程中，会出现数据类 型不对等问题，通过数据清理、转换、加工等操作，可以完成数据的统一要求，解决数据无法传输的问题。
4、非实时数据采集与共享。针对电务专业非实时数据采集量较大、应用调用频繁、数据复用率高、具有长期累积分析价值等特点，平台设计了数据源定时上传FTP、平台监测文件并更新采集的方式。即对支持Kafka 方式的数据源，依然采用与实时数据采集相同的序列化字节形式的数据包上传数据;对不支持Kafka 的数据源，平台提供FTP 前置服务器，数据源通过FTP 服务定时上传CSV 格式的数据文件，平台解析后将字符串形式的数据流送入消息队列中。CSV数据文件格式则根据具体数据表和业务需求的不同，由数据服务平台与数据源、应用三方商定。对于应用层频繁调用，且同一数据可能多次重复调用的需求，数据服务平台提供了统一调用形式的RESTful 接口实现。平台将非实时数据接口分为3 类，一是与时间相关的时序数据接口，对于这类数据，应用可以通过以数据类型命名的接口，使用编码、开始时间、截止时间作为参数获取数据（此类数据采用时序存储方式，并使用时间字段作为数据表的索引，相对于关系型数据库，该设计不仅将存储空间减半，有效降低了I/O读写延时，查询速度也有极大提高）;二是与时间无关的静态数据接口，此类数据通常为履历和设备台账等基础信息，应用可以通过输入表名和SQL 查询语句获取数据;三是对有特殊需求的应用功能，平台提供受限使用的通用SQL 查询接口，该接口将SQL 语句作为唯一参数查询数据库，因此可以实现多表关联等复杂的查询功能，为应用提供丰富、灵活的数据获取方式。例如，电务设备的运行情况与运输安全密切相关，设备告警信息尤其需要重点关注，既要关注实时告警，又要对非实时的历史告警信息进行关联性分析展示。
综上所述，伴随着我国铁路向重载、高速、高密度方向发展的过程中，不仅需要依靠技术创新和优化管理，还要结合检测设备及安全监控系统的综合应用。
参考文献
[1] 马小宁，李平，史天运.铁路大数据应用体系架构研究[J].铁路计算机应用，2019.
[2] 钟 卫 国.基于大数据分析的电务安全监控技术体系的研究[J].铁路通信信号工程技术，2019.