论文部分内容阅读
近年来,随着汽车电动化、智能化技术的快速发展,节能与新能源汽车的能量利用效率得到了大幅提升。与此同时,政策与法规对车辆的能量利用效率要求也在不断提高。如何利用新的智能化技术进一步提高车辆的能量利用效率是目前节能与新能源汽车领域一个重要的研究课题。本文研究了混合动力电动汽车控制系统设计及智能能量管理策略。以一款并联式混合动力电动汽车为研究对象,建立了混合动力电动汽车的仿真模型。设计了混合动力电动汽车的整车控制系统,介绍了硬件设计方法,以及基于模型的控制策略设计方法,并在实车中应用。为进一步提高混合动力汽车的能量利用率,研究了三种基于学习的能量管理策略:基于模糊Q学习的能量管理策略、基于深度强化学习的能量管理策略和基于深度确定性策略梯度的能量管理策略。针对模糊控制不能实现工况自适应的问题,提出了基于模糊Q学习的能量管理策略,将Q学习与模糊控制结合,实现了模糊控制参数的自调整。该算法主要包括Q函数的估计网络,基于Q学习的模糊控制参数调整方法以及输出动作的搜索。对基于模糊Q学习的能量管理策略进行了仿真实验,结果表明,基于模糊Q学习的能量管理策略能够取得较好的节油效果,而且能够实现在线学习,自适应行驶工况的变化。基于模糊Q学习的能量管理策略需要根据专家经验设计模糊规则。为实现不依赖专家经验、基于数据驱动的能量管理策略,提出了基于深度强化学习的能量管理策略。该方法将强化学习与深度神经网络结合形成深度Q网络,可以直接从输入状态中获取控制动作,实现了从状态输入直接到动作输出的端对端的控制。介绍了该算法的关键概念,构建了估计Q函数的深度网络,并设计了基于深度强化学习能量管理策略的算法步骤。为了在线适应不同的行驶工况,进一步提出了基于深度强化学习的在线学习架构。仿真结果表明,基于深度强化学习的能量管理策略在离线和在线应用场景下均取得了良好的节油效果。基于深度强化学习的能量管理策略需要对输出动作进行离散化,而能量管理问题中的发动机转矩是连续输出量,离散化的动作不可能历遍转矩输出的所有动作,因此,提出基于深度确定性策略梯度的能量管理策略,直接输出连续控制动作。该方法基于行动者-评论家框架,主要包含Actor和Critic两个网络。介绍了基于深度确定性策略梯度的能量管理策略的框架和计算步骤,并进行了仿真分析。结果表明,该方法在SOC全区间范围内都取得了良好的节油效果。本文提出了三种基于学习的智能能量管理策略,进一步提高了混合动力电动汽车的能量利用率;同时,本文的工作对于将深度强化学习等人工智能算法应用到新能源汽车的控制领域具有重要意义。