【摘 要】
：
对深度确定性策略梯度算法训练智能体学习小型无人飞行器的飞行控制策略进行了探索研究.以多数据帧的速度、位置和姿态角等信息作为智能体的观察状态,舵摆角和发动机推力指令作为智能体的输出动作,飞行器的非线性模型和飞行环境作为智能体的学习环境.智能体在与环境交互过程中除了获得包含误差信息的密集惩罚外,也有达成一定目标的稀疏奖励,该设计有效提高了飞行数据的样本多样性,增强了智能体的学习效率.最后智能体实现了从位置、速度和姿态角等信息到控制量的端到端飞行控制,并进行了变航迹点、模型参数拉偏、注入扰动和故障条件下的飞行控
【机 构】
：
北京航天自动控制研究所,北京 100854;宇航智能控制技术国家级重点实验室,北京 100854
论文部分内容阅读
对深度确定性策略梯度算法训练智能体学习小型无人飞行器的飞行控制策略进行了探索研究.以多数据帧的速度、位置和姿态角等信息作为智能体的观察状态,舵摆角和发动机推力指令作为智能体的输出动作,飞行器的非线性模型和飞行环境作为智能体的学习环境.智能体在与环境交互过程中除了获得包含误差信息的密集惩罚外,也有达成一定目标的稀疏奖励,该设计有效提高了飞行数据的样本多样性,增强了智能体的学习效率.最后智能体实现了从位置、速度和姿态角等信息到控制量的端到端飞行控制,并进行了变航迹点、模型参数拉偏、注入扰动和故障条件下的飞行控制仿真,结果表明智能体除了能有效完成训练任务外,还能应对多种训练时未学习的飞行任务,具有优秀的泛化能力和鲁棒性,该方法具有一定的研究价值和工程参考价值.
其他文献
以“食藻虫引导水下生态修复技术”在上海市花博园水系原位生态修复的应用案例为研究对象,介绍了沉水植物群落快速恢复关键技术及生态系统运行期的主要调控措施,通过跟踪评估生态修复后水域水质指标及系统稳定性,为城郊河湖一体富营养化水系治理提供经验参考与理论支撑.沉水植物在城镇水体水环境提升方面发挥着重要作用的同时,废弃后若处理不当又会形成二次污染,因此进一步探讨了沉水植物等典型城镇废弃物资源化处置的问题,以期为营养盐转移上岸途径并资源化循环利用提供新思路.
在临近空间机动目标拦截中,拦截器的初始动力段对中制导段乃至末端拦截性能具有重要影响.在模型预测静态规划(MPSP)理论基础上提出了一种初、中制导联合规划制导方法,旨在解决多阶段、快速、最优拦截轨迹规划和制导问题.首先,提出了一种改进的模型预测静态规划方法,该方法不仅可以满足终端约束,还可以生成最优初始状态,并在性能指标中考虑状态变量相关函数.其次,基于等效阻力模型建立了包含动力段与非动力段的两段规划模型,通过采用分段离散以及构建关机点变分关系的方法,避免了内点约束的引入,使MPSP算法可直接求解该两段规划
针对存在模型参数不确定和外部干扰的高超声速飞行器(HFV)跟踪控制问题,提出一种基于Backstepping方法的抗饱和非线性控制器.将飞行器纵向动力学模型分为速度子系统和航迹倾角子系统,然后针对每个子系统单独设计控制器.设计跟踪微分器获得信号的一阶导数,用以估计系统中的不确定干扰项和避免“微分项膨胀”问题.控制器设计过程考虑了控制量发生饱和的情况.基于Lyapunov理论证明了闭环系统信号的稳定性.与传统高超声速飞行器Backstepping方法相比,所设计的控制器采用待跟踪状态与理想控制指令之间的实际
针对含非线性连接的大型桁架式天线,考虑铰链非线性所产生的影响,基于连接子结构模态综合建模方法,建立其低阶非线性动力学模型.在此基础上,将动力学模型转换为分散参数化模型,并考虑状态变量不完全可测因素,设计适用于一致性理论的最优观测器.然后基于图论的思想提出桁架式天线的一致性形面保持控制方法,不仅实现了桁架式天线的高精度形面保持控制,同时对作动执行机构的失效具有容错性.仿真结果表明了所提控制方法的有效性.
航天技术的发展是一个国家科技水平和综合国力的重要体现,目前“长征”系列运载火箭已累计成功发射了390余次,连续2年发射数量位居世界第一;近年来“嫦娥五号”开启了我国首次地外天体采样返回之旅,“天问一号”火星探测刷新了中国航天发射新高度、新速度、新精度,天和核心舱的成功发射标志着我国空间站建造进入了全面实施阶段,中国已经步入了世界航天大国行列.但要成为世界航天强国,仍需要在高可靠、强适应、智能化等方面持续创新,而以先进控制技术为航天飞行器赋能增效是其中一条重要的途径.
炸药的热稳定性及力学性能已成为影响武器装备安全性的重要因素.为提高六硝基六氮杂异伍兹烷(CL-20)和1,1-二氨基-2,2-二硝基乙烯(FOX-7)炸药的热稳定性及高聚物黏结炸药(PBX)的力学性能,基于多巴胺(DA)氧化自聚合反应包覆CL-20和FOX-7炸药晶体.采用扫描电子显微镜(SEM)、热分析仪(TG/DSC)、动态力学分析仪(DMA)、接触角测量仪、激光粒度仪、高效液相色谱(HPLC)、BAM撞击感度仪、红外吸收光谱仪、万能材料试验机等,对表面改性颗粒的形貌结构、粒径、包覆含量、感度、热分解
为提高聚叠氮缩水甘油醚(GAP)的综合性能,利用共聚型含氟GAP二元醇为预聚物,丁二醇(BDO)为扩链剂,甲苯-2,4-二异氰酸酯(TDI)作为固化剂,合成共聚型含氟GAP基热塑性弹性体.分别采用红外光谱(FT-IR)、核磁共振(NMR)、凝胶渗透色谱(GPC)、差示扫描量热分析(DSC)、热重分析(TG/DTG)、拉伸试验和扫描电镜(SEM)对其化学结构、相对分子质量、玻璃化转变温度、热稳定性和力学性能进行表征.结果表明共聚型含氟GAP基热塑性弹性体的数均相对分子质量为33520,玻璃化转变温度为-33
在多羟基、多胺基聚丁二烯(AEHTPB)基础上,通过羟基的氰乙基化反应,制备了一种多氰基、多胺基聚丁二烯(AEHTPB-CN).通过红外光谱、核磁共振氢谱对产物的结构进行表征,并对产物的黏度、玻璃化温度、羟值、胺值等理化性质进行了分析.考察了AEHTPB-CN对黏合剂基体力学性能的影响,并通过装药实验探究了AEHTPB-CN对丁羟推进剂力学性能及燃烧性能的影响.结果表明,AEHTPB-CN的加入可有效提高HTPB弹性体的拉伸强度,其原因是AEHTPB-CN分子中的氰基与氨基甲酸酯基团形成氢键,提高了弹性体
以3,3-二(氯甲基)氧杂环丁烷(BCMO)和3-乙基-3-氧杂丁环甲醇(EHO)为原料,通过调节单体BCMO、EHO混合摩尔比m,再经阳离子开环聚合和叠氮化反应制备了一系列叠氮超支化共聚物(r-POB-m).采用红外光谱(FTIR)、核磁共振(NMR)、凝胶渗透色谱(GPC)和元素分析等对其结构进行了表征,结果表明该共聚物具有高分子量(>4400 g?mol-1)、高含氮量(达到43％)且支化度可控.采用X射线衍射仪(XRD)、哈克流变仪及差示扫描量热仪(DSC)分别对其结晶性、黏度和化学相容性进行了测
为探究三种不同防老剂N-(1,3-二甲基)丁基-N\'-苯基对苯二胺(4020)、N-异丙基-N\'-苯基对苯二胺(4010NA)、N-苯基-2-萘胺(D)在丁羟聚氨酯(HTPB-TDI)体系中的防老机理与防老性能优劣,采用量子力学(QM)模拟、分子动力学(MD)模拟、蒙特卡洛(MC)模拟分别对HTPB-TDI体系与各组分的解离自由能、扩散系数、溶度参数与渗透系数进行了计算.结果表明:三种防老剂的解离自由能大小顺序为ΔGD>ΔG4010NA>ΔG4020,并且均小于HTPB-TDI的最小解离自由能