论文部分内容阅读
随着各个科技领域的进步,智能机器人开始渗入到各个行业,其中智能车自动驾驶的研究与开发也越来越受到人们的重视。在无人车自动驾驶的研究中,路径规划和在动态环境中自主避障是当前研究的主要问题。避障原理是无人车先通过安装的车载感知器获得自身位置和周围环境信息,尤其是与周围障碍物的距离,然后计算出当前无人车与障碍物的最小安全距离,生成安全避障策略,自动控制无人车安全避障。路径规划同样需要依靠感知器感知周围障碍信息,以及探测目标位置。使用栅格对无人车行驶路径进行划分,利用Q-learning算法生成Q-table列表,计算无人车每个位置的价值,使用贪心策略生成直达目的地的最优路径,使无人车自动沿着最优路径行驶至目标位置。本文主要研究了强化学习中的神经网络算法和Q-learning算法理论及其解决无人车在未知动态环境中的避障和路径规划问题,具体完成的工作有:第一,根据现实车辆行驶路径情况,运用python语言在PyCharm平台上搭建了无人驾驶智能车系统,主要包括动、静障碍物设置,目标点设置,无人车行驶方式设置,这些是无人车自动驾驶实验的基础设置条件。第二,通过分析无人车避障方法以及可能遇障方式的分析,研究了无人车安全避障的约束条件,通过将BP神经网络算法与约束条件相结合,生成了无人车在未知动态环境中的安全避障策略,成功控制无人车安全驶离危险区。第三,建立栅格环境,利用Q-learning算法进行仿真,指出由于训练过程中由于过早的降低探索因子,使得规划的路径并不是最优。因此改进传统的自动驾驶路径探索方式,使所有的动作策略得到充分探索利用,得到全局最优规划路径。通过规定最大训练次数保证训练效率,从而从两方面达到的实验效果和实验时间上的双重最优。第四,为了更加优化路径规划策略,提高实验效率,提出一种新的训练学习方法——分层训练。将整个系统环境划分为几个独立的区域,让无人车分别在有价值的区域内训练学习,进行局部规划,节省在无价值区域内的探索训练时间,训练完成后,将各区域的信息归总到Agent中,实现整体规划,最终在整个环境中生成到达目标位置的最优路径,提高学习效率。经过仿真实验证明,本文提出的优化方法在无人车自主控制避障和自主路径规划方面具有积极作用。推动无人车避障和路径规划研究的发展,对于实现无人车自动驾驶的现实实际应用具有重要意义。