随着无人机技术的发展,无人机在众多领域得到了广泛的应用,同时也对无人机的功能与性能要求日益严苛,有诸多关键技术和共性技术需要解决,其中自主飞行控制就是最基础最重要的技术。根据无人机自主飞行控制任务的特性,本文选用深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）为基础算法进行研究,针对无人机长距离目标任务引起的状态空间剧增现象,解决无人机自主控制任务中的奖励稀疏问题,帮助智能体更快速有效地学习到控制无人机完成自主飞行任务的策略,本文提出了基于子任务生成和经验特征存入（Sub-Goal Generation and Empirical Feature Storage,SGG-EFS）的强化学习算法,主要工作和贡献在于:（1）提出基于经验特征存入的强化学习算法,通过特征提取方法提取经验的特征值来控制经验的存入,便于经验池对有效经验的管理,保证存储尽可能多的不同的经验来供智能体学习。这种方法避免了由于大量重复的经验占用经验池空间,而导致网络不能充分学习获取到的经验的问题。采用哈希的方式对特征值进行管理,可以保证查询速度。（2）提出子目标生成算法,对长距离目标任务进行拆分,不同的任务场景通过拆分后,可以一定程度上缓解状态空间的增长,甚至产生相似的子目标场景。智能体之前学习到的经验可以直接用于新的相似场景中,可以提高算法模型的泛化能力。（3）在仿真环境中进行对比实验,与原始的DDPG算法和优先级经验重放算法相比,本文基于子目标生成和经验特征存入（SGG-EFS）的强化学习算法在学习速度和策略稳定性上都具有较好的表现。为了验证算法的有效性,将SGG-EFS算法应用于X-Plane模拟器复飞场景的舰载机自主控制任务中,针对舰载机自主控制任务设计了马尔科夫决策过程模型。使用SGG-EFS算法完成不同场景的舰载机自主控制任务,证明了该算法在实际问题上有很好的应用效果。