混合动力汽车具有污染小、效率高、续驶里程长等优点,是未来新能源汽车的发展方向之一。由于混合动力系统拓扑结构的变化和驾驶场景的不确定性,制定高效的混合动力汽车能量管理策略（EMS）成为最关键的任务之一。在本文,以并联式混合动力汽车为研究对象,设计了几种基于深度强化学习的混合动力能量管理策略,对策略的最优性、适应性、收敛性和实时性进行了深入探究。具体研究工作包括:首先,以某型并联式混合动力汽车为参考,建立整车纵向动力学模型,以及发动机、电机和电池等关键部件数学模型。对典型的离线全局最优控制方法——动态规划（dynamic programming,DP）进行了能量管理策略的设计,作为后文所提策略的参考。其次,建立了基于值函数学习的深度Q学习（deep Q networks,DQN）在线能量管理策略,并设计了基于DQN变体,包括Double DQN、Dueling DQN以及结合彼此优势的D3QN的能量管理策略,并进行了仿真分析,并且与DP策略进行比较分析。结果表明:各种DQN变体相对于标准DQN在在收敛速度以及燃油经济性方面都有了一定的提高,而D3QN的控制效果最为理想。然后,建立了基于值函数和策略梯度的深度确定性策略梯度（deep deterministic policy gradient,DDPG）在线能量管理策略,为了消除不合理的转矩分配,在DDPG回路中嵌入了考虑部件工作特性和工作模式的规则式局部控制器（LC）。为了解决环境干扰的影响,设计了一种基于混合经验缓冲区（MEB）的混合经验回放方法（HER）。结果表明,提出的改进式DDPG能量管理策略均可获得良好的燃油经济性以及算法收敛速度和鲁棒性。最后,对常规在线局部优化控制方法模型预测控制（MPC）进行了能量管理策略仿真将基于DDPG算法的能量管理策略与基于DP、MPC、以及DQN及其变体的能量管理策略进行比较分析,表明了DDPG能量管理策略在不同行驶循环下的优越性。