论文部分内容阅读
摘要：在我国进入21世纪以来，我国的科技发展十分迅速，我国迎来了大数据发展的新时期。基于Sqoop、Flume设计和搭建，完成对货运相关业务系统数据的定时定量采集，并对数据进行ETL处理，运用大数据思维对铁路货运作业体系进行研究，建立货运智慧营销平台，从而通过优化数据仓库，建立大数据应用平台，将数据分析结果多维图形化展示，提高数据使用效率及应用效果。
关键词：大数据技术应用;数据整合;图形化展示
引言
目前，我国高速公路大多为客货混合行驶，因货车超速、超限超载、管理不到位等原因导致的重特大交通事故占总事故量比重较大，并且严重地损坏了路面设施，因此高速公路货车有效管控尤为重要。为保障道路通行效率和运营安全，河北省高速公路在监控系统建设中投资巨大，每lkm设置一对监控摄像机，实施全程监控，由于监督数据类型少、管理措施缺乏等因素，货车监管收效甚微。目前，全省正积极推进高速公路入口称重建设各项工作，预计2020年全省高速公路将全面实施收费站入口称重检测。
1智慧平台特点
1）基于面向服务架构设计多种操作平台及异构数据库，需要跨多个系统采集相关业务数据进行数据集成与协同工作。基于面向服务的架构理念，采用分布式、跨平台的企业级JavaEE平台，将平台明确划分为数据访问层、业务逻辑层和表示层，在逻辑上相互独立。其3层结构支持灵活的硬件系统和应用部署，且具有易扩展、易维护、安全性高等特点。总体设计为B/S、C/S混合模式，各功能模块间采用基于JavaNIOSocket/JMS双通道技术体系的消息触发模式实现数据共享与联动机制。客户端基于富客户机平台（RCP，RichClientPlatform），技术构建基于微内核、插件式应用程序界面，根据不同岗位、不同需求对各功能模块进行随意组装，解决了跨系统使用不够便捷的问题。2）数据可视化将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，能以更直观的方式看到数据及其结构关系，从而对数据进行更深入的观察和分析。3）数据源多样化数据源的多样化便于对既有各种数据进行有效整合。（1）支持Oracle，DB2，SQLServer，MySQL，SqlServer，Informix等数据源。支持ODBC数据源，支持JNDI数据源，支持共享应用服务器数据源。（2）接口支持JavaApi，Hibernate数据源，支持WebService、SOA等标准的数据。（3）支持文本数据，支持将Excel，txt文件，XML文件等文件型的数据直接作为数据源，也支持内置数据集。
2货运智慧大数据平台建设做法
2.1加强组织领导
为了保证项目建设顺利开展，货运处成立了“货运智慧大数据平台建设”项目攻关小组，负责“大数据”建设的具体工作。货运处领导班子成员及价格处、信息处、财务处有关领导为委员会成员，重点对项目建设进行规划及总协调，抽调货运处、货运中心、价格处、财务处业务骨干共8人进行需求调查并做板块设计，抽调信息处高级工程师进行数据处理和技术支持。
2.2重点企业监控子系统
对客户信息系统化收集，建立完善的客户信息库，对客户信息更新过程中做到随时记录和管理分析，系统化客户的工作过程，细化客户的需求点，为制定一企一册个性化物流方案供支撑，从而提高客户的满意度和依存度，维护客户关系。（1）细化客户信息，包括行业类型、客户经理、地图维度、所在省、所在地市、客户类型（新建客户、既有客户、潜在客户、问题客户、其它客户）、客户等级（一级、二级、…）、主要物流去向、主要产品、客户产量规模、客户物流总量规模、特殊物流需求、原材料品名、原材料来源等10余项主要信息，为细化客户需求奠定基础。（2）通过对企业生产数据及铁路运输数据的整合，分析企业公路运量、铁路运量、运输距离、历史记录（单日、月度、年度）、货物发送频率（与上次发货间隔时间）等信息，淡旺季趋势、流向分布，掌握重点客户物流消费行为。（3）按客户评价办法对客户进行自动评级，重点企业监控情况。
2.3明确项目建设基本原则
货运智慧大数据平台遵循安全性原则，以货运业务驱动为导向，以综合数据网为基础，坚持资源集约、分工合作，强化标准化作业管理力度，实现货运作业从结果分析向过程管控的转变。方案设计遵循以下原则：（1）业务驱动原则要选择解决和产生的业务场景，针对需求处理和整合大数据，快速产生价值。（2）资源集约原则充分利用现有信息系统，整合各类数据资源，加强与已有、在建、待建系统的标准化、集成化、模块化融合，避免重复建设，提高信息化的资源整合与规模效益。（3）分工合作、分步实施原则系统建设应分多个阶段进行，确定各个阶段的目标和重点，逐步实施。（4）安全运行原则系统采用前沿的加密方法对底层数据进行加密存储，以“独立运行，逻辑隔离，安全畅通”为原则，实现数据共享与交换，并针对不同系统层级建立多级数据缓冲带，有效提高平台访问效率。（5）经济性原则通过货运大数据管理方式，实现了货运的多维度数据分析，充分利用既有的软、硬件及网络资源在一定程度上提高了货运的经济收入，提高了投入与产出比例。同时尽量使用市场较成熟的商业软件，减少项目开发成本。
2.4不停车动态称重技术应用
“超限超载”一直是困扰高速公路货车运输管理的难题。车辆超限超载不仅容易导致重大交通事故，其對路面的损害也是非常严重。据分析，车辆超限重量的增加和其对路面损害程度呈几何数增长，超限10%的货车对道路的损坏增加40%，严重影响高速公路的使用年限目前，河北省高速公路主要在收费站出口设置计重设备，且一般的交调设备普遍缺乏轴载参数的检测，因此，对驶入高速公路的超限超载车辆缺少监管手段。近期，为规范高速公路治超工作，解决货运车辆违法超运超载运输，河北省正大力推进高速公路入口治超建设，针对在建及营运中的高速公路入口，均增加相关检测设施，预计将于2020年全面实施收费站入口称重。本文结合不停车动态称重系统和高清卡口系统，在不影响车辆通行效率的前提下，获取车辆车牌、车速、载重等运输数据，作为入口治超建设中及建设后的辅助手段，为管理部门监督执法提供数据支持。不停车动态称重系统采用动态称重技术，以压电石英等传感器作为称重传感器，在车辆正常行驶特别是高速行驶过程中自动、实时获取车辆的轴载荷和其它交通参数。车辆通过监测点时，该系统传感器拾取车轮对路面的冲击载荷，经过信号采集和逻辑运算处理获得车辆的详细信息.并实现对车辆信息的保存、传输、显示、查询统计及上传等功能。
结语
智慧大数据的开发及拓展是只有起点没有终点，一直在路上的工作，是一个持续的过程，由于运行时间短，尚未成为全体货运管理者及工作人员力推的发展主轴，随着需求的不断完善，技术的不断成熟，数据容量的不断积累，相信货运智慧大数据必将成为货运系统乃至全局的产业抓手，成为经营数字神经系统。
参考文献：
[1] 孙建军.定量分析方法[M].南京：南京大学出版社，2002.
[2] 杨健.定量分析方法[M].北京：清华大学出版社，2018.
[3] 杨清海.浅谈“大数据”在铁路管理中的应用[J].科学技术创新，2017（22）：116-117.
[4] 王雪.在铁路货运营销中运用服务营销的探讨[J].物流科技，2017（9）：30-31.
[5] 任昱衡.大数据营销从入门到精通[M].北京：清华大学出版社，2016.
（作者单位：湖南高速铁路职业技术学院）
关键词：大数据技术应用;数据整合;图形化展示
引言
目前，我国高速公路大多为客货混合行驶，因货车超速、超限超载、管理不到位等原因导致的重特大交通事故占总事故量比重较大，并且严重地损坏了路面设施，因此高速公路货车有效管控尤为重要。为保障道路通行效率和运营安全，河北省高速公路在监控系统建设中投资巨大，每lkm设置一对监控摄像机，实施全程监控，由于监督数据类型少、管理措施缺乏等因素，货车监管收效甚微。目前，全省正积极推进高速公路入口称重建设各项工作，预计2020年全省高速公路将全面实施收费站入口称重检测。
1智慧平台特点
1）基于面向服务架构设计多种操作平台及异构数据库，需要跨多个系统采集相关业务数据进行数据集成与协同工作。基于面向服务的架构理念，采用分布式、跨平台的企业级JavaEE平台，将平台明确划分为数据访问层、业务逻辑层和表示层，在逻辑上相互独立。其3层结构支持灵活的硬件系统和应用部署，且具有易扩展、易维护、安全性高等特点。总体设计为B/S、C/S混合模式，各功能模块间采用基于JavaNIOSocket/JMS双通道技术体系的消息触发模式实现数据共享与联动机制。客户端基于富客户机平台（RCP，RichClientPlatform），技术构建基于微内核、插件式应用程序界面，根据不同岗位、不同需求对各功能模块进行随意组装，解决了跨系统使用不够便捷的问题。2）数据可视化将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，能以更直观的方式看到数据及其结构关系，从而对数据进行更深入的观察和分析。3）数据源多样化数据源的多样化便于对既有各种数据进行有效整合。（1）支持Oracle，DB2，SQLServer，MySQL，SqlServer，Informix等数据源。支持ODBC数据源，支持JNDI数据源，支持共享应用服务器数据源。（2）接口支持JavaApi，Hibernate数据源，支持WebService、SOA等标准的数据。（3）支持文本数据，支持将Excel，txt文件，XML文件等文件型的数据直接作为数据源，也支持内置数据集。
2货运智慧大数据平台建设做法
2.1加强组织领导
为了保证项目建设顺利开展，货运处成立了“货运智慧大数据平台建设”项目攻关小组，负责“大数据”建设的具体工作。货运处领导班子成员及价格处、信息处、财务处有关领导为委员会成员，重点对项目建设进行规划及总协调，抽调货运处、货运中心、价格处、财务处业务骨干共8人进行需求调查并做板块设计，抽调信息处高级工程师进行数据处理和技术支持。
2.2重点企业监控子系统
对客户信息系统化收集，建立完善的客户信息库，对客户信息更新过程中做到随时记录和管理分析，系统化客户的工作过程，细化客户的需求点，为制定一企一册个性化物流方案供支撑，从而提高客户的满意度和依存度，维护客户关系。（1）细化客户信息，包括行业类型、客户经理、地图维度、所在省、所在地市、客户类型（新建客户、既有客户、潜在客户、问题客户、其它客户）、客户等级（一级、二级、…）、主要物流去向、主要产品、客户产量规模、客户物流总量规模、特殊物流需求、原材料品名、原材料来源等10余项主要信息，为细化客户需求奠定基础。（2）通过对企业生产数据及铁路运输数据的整合，分析企业公路运量、铁路运量、运输距离、历史记录（单日、月度、年度）、货物发送频率（与上次发货间隔时间）等信息，淡旺季趋势、流向分布，掌握重点客户物流消费行为。（3）按客户评价办法对客户进行自动评级，重点企业监控情况。
2.3明确项目建设基本原则
货运智慧大数据平台遵循安全性原则，以货运业务驱动为导向，以综合数据网为基础，坚持资源集约、分工合作，强化标准化作业管理力度，实现货运作业从结果分析向过程管控的转变。方案设计遵循以下原则：（1）业务驱动原则要选择解决和产生的业务场景，针对需求处理和整合大数据，快速产生价值。（2）资源集约原则充分利用现有信息系统，整合各类数据资源，加强与已有、在建、待建系统的标准化、集成化、模块化融合，避免重复建设，提高信息化的资源整合与规模效益。（3）分工合作、分步实施原则系统建设应分多个阶段进行，确定各个阶段的目标和重点，逐步实施。（4）安全运行原则系统采用前沿的加密方法对底层数据进行加密存储，以“独立运行，逻辑隔离，安全畅通”为原则，实现数据共享与交换，并针对不同系统层级建立多级数据缓冲带，有效提高平台访问效率。（5）经济性原则通过货运大数据管理方式，实现了货运的多维度数据分析，充分利用既有的软、硬件及网络资源在一定程度上提高了货运的经济收入，提高了投入与产出比例。同时尽量使用市场较成熟的商业软件，减少项目开发成本。
2.4不停车动态称重技术应用
“超限超载”一直是困扰高速公路货车运输管理的难题。车辆超限超载不仅容易导致重大交通事故，其對路面的损害也是非常严重。据分析，车辆超限重量的增加和其对路面损害程度呈几何数增长，超限10%的货车对道路的损坏增加40%，严重影响高速公路的使用年限目前，河北省高速公路主要在收费站出口设置计重设备，且一般的交调设备普遍缺乏轴载参数的检测，因此，对驶入高速公路的超限超载车辆缺少监管手段。近期，为规范高速公路治超工作，解决货运车辆违法超运超载运输，河北省正大力推进高速公路入口治超建设，针对在建及营运中的高速公路入口，均增加相关检测设施，预计将于2020年全面实施收费站入口称重。本文结合不停车动态称重系统和高清卡口系统，在不影响车辆通行效率的前提下，获取车辆车牌、车速、载重等运输数据，作为入口治超建设中及建设后的辅助手段，为管理部门监督执法提供数据支持。不停车动态称重系统采用动态称重技术，以压电石英等传感器作为称重传感器，在车辆正常行驶特别是高速行驶过程中自动、实时获取车辆的轴载荷和其它交通参数。车辆通过监测点时，该系统传感器拾取车轮对路面的冲击载荷，经过信号采集和逻辑运算处理获得车辆的详细信息.并实现对车辆信息的保存、传输、显示、查询统计及上传等功能。
结语
智慧大数据的开发及拓展是只有起点没有终点，一直在路上的工作，是一个持续的过程，由于运行时间短，尚未成为全体货运管理者及工作人员力推的发展主轴，随着需求的不断完善，技术的不断成熟，数据容量的不断积累，相信货运智慧大数据必将成为货运系统乃至全局的产业抓手，成为经营数字神经系统。
参考文献：
[1] 孙建军.定量分析方法[M].南京：南京大学出版社，2002.
[2] 杨健.定量分析方法[M].北京：清华大学出版社，2018.
[3] 杨清海.浅谈“大数据”在铁路管理中的应用[J].科学技术创新，2017（22）：116-117.
[4] 王雪.在铁路货运营销中运用服务营销的探讨[J].物流科技，2017（9）：30-31.
[5] 任昱衡.大数据营销从入门到精通[M].北京：清华大学出版社，2016.
（作者单位：湖南高速铁路职业技术学院）