论文部分内容阅读
摘 要：本文提出了以大数据为基础的城市配送的动态车辆调度平台。首先介绍了Hadoop技术以及构成Hadoop的两个主要模块，分别为HDFS和MapReduce并行运算框架。然后根据城市配送的需求，设计了城市配送的动态车辆调度平台，并对数据存储层、调度算法层、可视化展示层进行具体设计。
关键词：大数据；城市配送；Hadoop技术
0 引言
随着电子商务越来越深入影响人们的生活方式，物流行业得到了飞跃式发展。物流行业一直都是国民经济发展的重要环节，也被人们誉为“企业第三利润源”。2017年中国社会物流总额达252.8万亿元，同比增长6.7%[1]。同时，中国2017年社会物流总额占GDP总量的14.6%，约为12.1万亿[2]，而发达国家的物流总额占GDP的11%，中等发达国家的物流成本占比不到13%[3]。因此中国的物流业还有很大的发展空间。降低物流成本不仅能提高企业的经济效益，还能改善社会物流运行效率。
城市配送是整条物流链的最后一个环节，也是物流配送的“最后一公里”。传统的静态车辆调度已经无法满足如今的物流配送需求。动态车辆调度受时间因素制约，随着时间的推移，输入信息可能发生改变。一旦数据发生改变，必须在短时间内获得新的调度方案。
为了解决上述问题，本文提出了以大数据为基础的车辆调度平台，研究动态车辆路径调度方案及对应的调度智能算法。
1 大数据概述
大数据处理需要强劲的数据处理能力，提升处理能力有两种方式：第一是提升处理器的计算性能，但成本高。第二是采用并行计算技术。基于Hadoop的应用可以快速、便捷地处理海量数据的分布式并行程序，并运行于大规模的由廉价PC端组成的集群中，成本低。因此动态车辆调度平台基于Hadoop平台实现车辆调度。
1.1Hadoop技术
Hadoop一个开源的、可靠的、分布式计算框架， 主要用于大数据的高效存储、管理和分析。Hadoop将硬件故障视为常态，保证了软件的可靠性。Hadoop主要包括两个主核心模块：HDFS以及MapReduce。HDFS分布式文件系统用于存储海量数据，并为网络中的大量客户端提供数据访问。MapReduce实现任务分解和调度[4]。
1.2 HBase
HBase 是一个高性能、分布式、面向列、多维度的存储系统。在设计上具备高性能和高可用性。HBase表是一个稀疏的、持久化的多维度有序映射表。HBase对HBase表中的数据实现下面4种操作[7]：获取（Get），存入（Put），扫描（San），删除（Delete），
由于HDFS只支持在文件上做少数的操作，但不包括任何更新的操作，不提供数据的本地缓存机制，而车辆调度需要实时更新。因此本文结合HBase与HDFS进行数据存储。HDFS作为HBase持久的数据存储，HBase对数据进行实时更新。
1.3 MapReduce
MapReduce框架是Google提出的一个软件框架。MapReduce编程模型由Mapper阶段和Reducer阶段。Map（）函数以为输入，产生一系列作为中间输出。MapReduce 框架自动对中间数据按照key值分区，相同key交给同一Reduce（）函数进行处理。经过Reduce（）函数对中间值的处理，经过合并后，产生一系列作为最终输出结果，并写入HDFS进行存储。
2 基于Hadoop的城市配送中动态车辆调度平台构建
借助于Hadoop强大的云计算能力，协同统一物流企业的信息流及物流，使物流的各个环节、各个对象功能需求和信息需求得到充分满足，为城市配送提供实时、准确的配送路线，提高配送效率，实现所有物流相关信息、企业资源得到高效利用，增强企业的核心竞争力。
在城市配送过程中存在较多的重复性资源浪费，如：车辆空载率高、大范围跨区配送、配送路线随意性大[9]。物流行业在新形势的要求下需要提高配送效率、降低企业成本，传统的物流配送模式难以适应行业未来的发展。而以Hadoop为基础建立一個城市配送的动态车辆调度平台具有及时搜索元数据能力，存储和管理海量运单数据的能力，分布式计算最佳配送路径的能力，以及数据可视化的能力。
2.1 城市配送的动态车辆调度平台设计
顾客在购物平台上提交订单信息后跳转至物流配送环节，由商家上传运单信息，然后物流企业对运单信息进行分类、整合。但是电子商务的快速发展，导致每天有数以万计的运单信息，传统的信息处理方式已经无法处理这些海量的运单数据。因此，本文设计的车辆调度平台分为数据存储层、调度算法层、可视化展示层。
2.1.1数据存储层
电商提供的运单、收件人居住地的地理信息以及收件人的接收状态是调度系统的主要数据来源。数据写入HDFS的过程包括以下七步：①当需要向HDFS写入数据时，物流企业整合信息后统一向NameNode发送数据写入请求；②NameNode先判断传送地址的合法性和数据文件的大小，若合法，则NameNode向物流企业发送指令，允许写入数据；③然后，企业客户端收到允许指令后，将文件分为128MB大小的块（block），并向NameNode申请第一个block的存储位置；④接着，NameNode经过计算后将对应的DateNode节点返回客户端，假设返回3个DateNode；⑤物流企业客户端开始分别向3个DateNode请求建立传输通道；⑥DateNode依次返回连接成功的应答，然后开始传输数据。⑦传输结束后，由企业客户端返回NameNode写入成功的信息，NameNode将相关数据保存到元数据中。
而HBase的客户端则通过RPC调用将put、delete的数据请求提交到对应的Regionserver，Regionserver对两种数据请求进行处理，并将数据写入Hfile中，最后将HFile和WAL 日志存储到HDFS。
2.1.2可视化展示层
可视化展示层主要是配送者设计最优配送路线。当配送者查询某区域的配送路线时，经过客户端查询在 HBase 系统中运单数据，进而让算法调度层生成的调度路线、实时变化的运单信息、运输车辆位置及载货余量等信息反馈至主界面呈现给使用者。
3 总结
本文在大数据的基础上，运用Hadoop计算框架设计了城市配送的动态车辆调度平台。并提出Hadoop计算框架提高了算法实时动态处理能力和寻优能力，能够快速制定车辆调度路线，满足城市配送的动态车辆调度平台对时效性的要求。在后期的研究中，将研究基于MapReduce的量子蚁群算法处理大数据物流问题，从而制定出最优的车辆调度路线，为决策者提供多种决策方案。
参考文献：
[1]《2017年前三季度物流运行稳中有进》[J].中国物流与采购，2017.
[2]崔晓迪.对社会物流成本与竞争力衡量指标的新思考[J].中国流通经济，2018，32（09）：11-19.
关键词：大数据；城市配送；Hadoop技术
0 引言
随着电子商务越来越深入影响人们的生活方式，物流行业得到了飞跃式发展。物流行业一直都是国民经济发展的重要环节，也被人们誉为“企业第三利润源”。2017年中国社会物流总额达252.8万亿元，同比增长6.7%[1]。同时，中国2017年社会物流总额占GDP总量的14.6%，约为12.1万亿[2]，而发达国家的物流总额占GDP的11%，中等发达国家的物流成本占比不到13%[3]。因此中国的物流业还有很大的发展空间。降低物流成本不仅能提高企业的经济效益，还能改善社会物流运行效率。
城市配送是整条物流链的最后一个环节，也是物流配送的“最后一公里”。传统的静态车辆调度已经无法满足如今的物流配送需求。动态车辆调度受时间因素制约，随着时间的推移，输入信息可能发生改变。一旦数据发生改变，必须在短时间内获得新的调度方案。
为了解决上述问题，本文提出了以大数据为基础的车辆调度平台，研究动态车辆路径调度方案及对应的调度智能算法。
1 大数据概述
大数据处理需要强劲的数据处理能力，提升处理能力有两种方式：第一是提升处理器的计算性能，但成本高。第二是采用并行计算技术。基于Hadoop的应用可以快速、便捷地处理海量数据的分布式并行程序，并运行于大规模的由廉价PC端组成的集群中，成本低。因此动态车辆调度平台基于Hadoop平台实现车辆调度。
1.1Hadoop技术
Hadoop一个开源的、可靠的、分布式计算框架， 主要用于大数据的高效存储、管理和分析。Hadoop将硬件故障视为常态，保证了软件的可靠性。Hadoop主要包括两个主核心模块：HDFS以及MapReduce。HDFS分布式文件系统用于存储海量数据，并为网络中的大量客户端提供数据访问。MapReduce实现任务分解和调度[4]。
1.2 HBase
HBase 是一个高性能、分布式、面向列、多维度的存储系统。在设计上具备高性能和高可用性。HBase表是一个稀疏的、持久化的多维度有序映射表。HBase对HBase表中的数据实现下面4种操作[7]：获取（Get），存入（Put），扫描（San），删除（Delete），
由于HDFS只支持在文件上做少数的操作，但不包括任何更新的操作，不提供数据的本地缓存机制，而车辆调度需要实时更新。因此本文结合HBase与HDFS进行数据存储。HDFS作为HBase持久的数据存储，HBase对数据进行实时更新。
1.3 MapReduce
MapReduce框架是Google提出的一个软件框架。MapReduce编程模型由Mapper阶段和Reducer阶段。Map（）函数以
2 基于Hadoop的城市配送中动态车辆调度平台构建
借助于Hadoop强大的云计算能力，协同统一物流企业的信息流及物流，使物流的各个环节、各个对象功能需求和信息需求得到充分满足，为城市配送提供实时、准确的配送路线，提高配送效率，实现所有物流相关信息、企业资源得到高效利用，增强企业的核心竞争力。
在城市配送过程中存在较多的重复性资源浪费，如：车辆空载率高、大范围跨区配送、配送路线随意性大[9]。物流行业在新形势的要求下需要提高配送效率、降低企业成本，传统的物流配送模式难以适应行业未来的发展。而以Hadoop为基础建立一個城市配送的动态车辆调度平台具有及时搜索元数据能力，存储和管理海量运单数据的能力，分布式计算最佳配送路径的能力，以及数据可视化的能力。
2.1 城市配送的动态车辆调度平台设计
顾客在购物平台上提交订单信息后跳转至物流配送环节，由商家上传运单信息，然后物流企业对运单信息进行分类、整合。但是电子商务的快速发展，导致每天有数以万计的运单信息，传统的信息处理方式已经无法处理这些海量的运单数据。因此，本文设计的车辆调度平台分为数据存储层、调度算法层、可视化展示层。
2.1.1数据存储层
电商提供的运单、收件人居住地的地理信息以及收件人的接收状态是调度系统的主要数据来源。数据写入HDFS的过程包括以下七步：①当需要向HDFS写入数据时，物流企业整合信息后统一向NameNode发送数据写入请求；②NameNode先判断传送地址的合法性和数据文件的大小，若合法，则NameNode向物流企业发送指令，允许写入数据；③然后，企业客户端收到允许指令后，将文件分为128MB大小的块（block），并向NameNode申请第一个block的存储位置；④接着，NameNode经过计算后将对应的DateNode节点返回客户端，假设返回3个DateNode；⑤物流企业客户端开始分别向3个DateNode请求建立传输通道；⑥DateNode依次返回连接成功的应答，然后开始传输数据。⑦传输结束后，由企业客户端返回NameNode写入成功的信息，NameNode将相关数据保存到元数据中。
而HBase的客户端则通过RPC调用将put、delete的数据请求提交到对应的Regionserver，Regionserver对两种数据请求进行处理，并将数据写入Hfile中，最后将HFile和WAL 日志存储到HDFS。
2.1.2可视化展示层
可视化展示层主要是配送者设计最优配送路线。当配送者查询某区域的配送路线时，经过客户端查询在 HBase 系统中运单数据，进而让算法调度层生成的调度路线、实时变化的运单信息、运输车辆位置及载货余量等信息反馈至主界面呈现给使用者。
3 总结
本文在大数据的基础上，运用Hadoop计算框架设计了城市配送的动态车辆调度平台。并提出Hadoop计算框架提高了算法实时动态处理能力和寻优能力，能够快速制定车辆调度路线，满足城市配送的动态车辆调度平台对时效性的要求。在后期的研究中，将研究基于MapReduce的量子蚁群算法处理大数据物流问题，从而制定出最优的车辆调度路线，为决策者提供多种决策方案。
参考文献：
[1]《2017年前三季度物流运行稳中有进》[J].中国物流与采购，2017.
[2]崔晓迪.对社会物流成本与竞争力衡量指标的新思考[J].中国流通经济，2018，32（09）：11-19.