论文部分内容阅读
近年来,无人驾驶技术作为未来城市交通的最佳解决方案受到了大众的瞩目。作为一个复杂的系统,无人驾驶车辆使用了多样的传感器对周围环境进行感知。大量传感器每秒产生海量数据,这些数据能否及时处理事关无人驾驶车辆的可靠性和安全性。流式数据处理技术以其高吞吐量、低延迟的特性成为处理传感器数据的首选方案。然而,传统的基于云计算数据中心部署的流式数据处理平台,不可避免地存在两个问题:一是链路带宽资源有限,难以支持海量数据同时传输,二是传输过程中会产生较大延迟。对于无人驾驶这类延迟敏感型应用来说,传输过程的不稳定性和高延迟是难以接受的。针对上述问题,本文提出了面向无人驾驶的边缘流式大数据处理框架,将计算、存储能力由远端的云计算数据中心转移到近端的边缘数据中心。在充分分析无人驾驶车辆传感器数据流特征和任务处理需求的基础上,基于Spark Streaming实现了这一框架。本文提出了基于模糊控制的系统负载动态平衡机制,实现了对于特定区域内车流量的监控及预测,能够根据车流量变化和系统工作负载调整系统的运行状态,达到在满足吞吐量的要求下尽可能降低端到端延迟,提高了无人驾驶车辆的响应速度。本文提出了差异化的无人驾驶调度算法,实现了对无人驾驶车辆任务优先级和紧迫程度的识别,满足无人驾驶车辆不同优先级任务的处理需求。实验表明,本文所提出的框架通过对短期车流量变化的预测,能够准确预知系统数据流量变化,日平均百分比误差不超4%。本文所提出的基于模糊控制的系统负载动态平衡机制,能够快速处理系统数据到达率与系统处理能力不匹配的情况,使其在数分钟内收敛到平衡状态。相较于原始的Spark Streaming实现,当数据到达率较低时,其能够降低35%的端到端延迟;当数据到达率较高时,其能够通过增加25%的延迟换取21%的吞吐量提升。本文所提出的差异化的无人驾驶调度算法,能够准确区分不同优先级任务,加速高优先级任务执行,使得高优先级任务的端到端延迟相比低优先级任务降低46%。