论文部分内容阅读
网络化控制系统作为工业领域中重要的基础设施,已深入到经济、文化、政治和社会等各个领域。在加快社会发展进程的同时,也极大提高了人类的生活和工作质量。随着网络技术的飞速发展,网络化系统结构愈发复杂多变,其应用领域也在发生着翻天覆地的变化。在网络化系统中,其数据的有效传输常常依赖于网络中的有限带宽,但是在系统趋于稳定的过程中,其传输的数据有一部分具有较高的相似性。因此,为了减少这种不必要的相似数据传输,相关学者开始设计合理有效的通信协议来大幅提高网络带宽的利用率;此外在控制方法设计层面,如何采取最优的控制策略使系统能够以最小成本达到最终稳定,也是相关控制领域内研究的热点话题。基于此,本文主要研究内容如下:本文首先研究了一类非线性网络化控制系统(NCS)在网络带宽有限和受外界扰动情况下的最优跟踪控制问题。针对给定的NCS系统模型和参考跟踪系统模型,其所研究的最优跟踪控制问题被转化为成本最优化问题。然后引入用于节约带宽的事件触发机制,结合贝尔曼最优化理论,将优化问题转化为基于事件触发的Hamilton-Jacobi-Isaac(HJI)方程的求解问题,并由此得出控制信号的更新策略。随后本文证明了在所设计的最优控制和干扰策略下,目标系统可以达到最终一致有界(UUB)意义上的稳定性。并且区别于现有研究成果的是,本文中设计的干扰策略可以周期性地变化,而控制策略只能在事件触发的瞬间更新。此外,本文还提出了一种基于强化学习(RL)的算法来求解HJI方程的数值解,从而解决所研究的跟踪控制问题。并且通过理论分析和仿真,最终证明了算法的有效性。针对一类受控制约束和通信资源约束的非线性网络化互联系统(NIS),本文通过设计基于策略迭代和自适应事件触发机制的学习算法实现了其最优成本下的分布式控制问题。首先将整个NIS的分布式最优控制问题转化为对应标称子系统的N个最优控制问题;然后通过运用最优控制理论,结合所建立的成本函数和用于合理调度数据传输的自适应事件触发机制(AETM),进一步得出事件触发下的HJI方程与控制策略的更新法则,并在此基础上保证了NIS的UUB稳定性能。此外,本文还提出了一种基于RL的事件触发最优控制算法,并利用Actor-Critic神经网络的近似逼近原理,用以获取HJI方程的数值解,同时基于李雅普诺夫稳定性定理证明了该算法下标称子系统的UUB稳定性。最后,通过仿真实验验证了所设计的基于RL的迭代控制算法的有效性。