【摘 要】
：
在传统石油、化工等一些复杂工业过程的优化控制中,针对工业实际需求,人们一直致力于生产质量、生产效率及自动化的发展。在解决像操纵变量决策优化等复杂问题时,通常受到模型不确定及大时滞的影响。基于最优控制理论方法的提出及其应用,推动了工程控制领域的发展。但是这些方法往往依赖专家经验驱动决策方向,容易受模型失配和维度灾难问题的制约,由于时延问题导致的策略实时优化难以实现。针对以上问题,本文提出了一种基于目
论文部分内容阅读
在传统石油、化工等一些复杂工业过程的优化控制中,针对工业实际需求,人们一直致力于生产质量、生产效率及自动化的发展。在解决像操纵变量决策优化等复杂问题时,通常受到模型不确定及大时滞的影响。基于最优控制理论方法的提出及其应用,推动了工程控制领域的发展。但是这些方法往往依赖专家经验驱动决策方向,容易受模型失配和维度灾难问题的制约,由于时延问题导致的策略实时优化难以实现。针对以上问题,本文提出了一种基于目标导向和决策空间探索次数监督的内在好奇心奖励驱动的深度强化学习方法GU-ICM-DDPG（Goal and UCB based ICM（Intrinsic Curiosity Module）driven DDPG（Deep Deterministic Policy Gradient））。以下三个方面为本论文的主要贡献:1、由于深度强化学习具有抗不确定性、强适应性、无模型和自学习等特点。因此,本文将深度强化学习方法应用到过程控制系统中,提出了一种深度强化学习的过程控制应用框架,并对其步骤和设计过程进行了详细阐述。面对连续控制问题,将传统方法对于状态空间和动作空间的离散化通过应用强化学习方法使其对于操纵变量的控制变得更加精细化;此外,以CSTR对象为例,阐释了基于深度强化学习控制的建模步骤与实施过程。2、针对传统DDPG算法中探索与利用不平衡、数据效率低的问题。我们对传统基于状态预测误差的好奇心奖励进行了改进,提出了一种基于目标导向和决策空间探索次数监督的内在好奇心奖励生成方法（GU-ICM）,结合环境反馈的外在奖励对DDPG方法进行改进,形成一种GU-ICM-DDPG模型。并且,以Open AI公司开发的Panda机器人环境作为实验环境,验证了所提GU-ICM-DDPG模型的正确性与可行性。3、我们将所提的方法应用于啤酒发酵过程控制上,最终得到一个啤酒发酵温度控制的最优操纵策略。实验中,我们将所提GU-ICM-DDPG方法与DQN离散控制方法,传统引入人员交互的控制方法及强化学习基线方法进行了对比,证实了改进的DDPG算法的正确性,获得满意的结果。同时,给出了所提GU-ICM-DDPG算法的优势和局限性。
其他文献
随着我国工业的不断发展,对原油及其产品的需求越来越大,输油管道作为石油运输的主要途径能耗也在不断攀升,在实际调度过程中,调度人员面对不同输油泵的组合以及相应的管道水力约束,难以给出当前场景下最优的调度计划,因此为了改善输油管道的运行状况,急需建立能提高输油效率、降低输油成本的输油管道生产优化模型。随着输油管网逐步建成的监控与数据采集系统,已经积累了大量的历史数据,本文在企业需求和前期调研的基础上,
危险与可操作性（Hazard and Operability,HAZOP）分析法是一种常用的安全评价方法。该方法往往采用人工分析的方式,组建专家团队进行“头脑风暴”,分析结果大多以文档的形式存储。HAZOP分析报告中蕴含了大量的专家知识与经验,其储存形式以及不同团队间知识表述的差异使得人们无法便捷地进行浏览与借鉴。因此,如何实现HAZOP知识的有效表达与复用是当前亟待解决的问题。为了解决上述问题,
四旋翼无人机由于其良好的垂直起降能力和较强的机动性使得它在军事、民用领域被广泛应用。利用四旋翼无人机进行空中吊运可以轻松应对复杂地面环境,能代替传统机械工具进行搬运、投放物资等任务。四旋翼无人机本身是一个欠驱动控制系统,加上负载物的悬挂,其系统变量耦合性更强、运动特性更复杂、控制难度更大等问题也非常突出。本文主要针对四旋翼吊挂无人机定速飞行和行进间负载升降问题进行研究,探讨无人机速度控制和负载变绳
地震勘探是寻找资源的重要方法,振动传感器是地震勘探装备的核心器件,其性能决定了地震数据品质,目前普遍使用的是电磁式振动传感器,它存在低频响应高,重量较大等问题。PVDF（聚偏氟乙烯）是一种高分子压电聚合物,其自重轻,且具有较好的压电性和机电耦合性。研究频率响应低,灵敏度高的PVDF压电传感器具有一定现实意义。为此,论文通过分析勘探用振动传感器的基本原理,基于压电材料的物理特性方程,设计了一种悬臂梁
当下,工业生产过程愈发繁杂,需要控制的节点不断增多,进而对关键节点的预测也有了更高的要求。在以往的传统工业生产过程中,通常采用传统的点预测对关键变量进行预测估计,然而随着实际工业过程日渐复杂,仅仅依靠点值无法对变量进行不确定分析,故点预测方法在一定程度上无法满足监控关键变量的需求。区间预测作为一种趋势分析方法,对复杂工业过程中关键变量的预测有较高的精度,并且可以直观地对关键变量变化趋势进行观测,已
简缩极化SAR是合成孔径雷达领域的一个新方向。作为一个独特的双极化模式,简缩极化技术能够获取相对于传统双极化模式更加全面的信息,以及相对于传统全极化模式更大的成像幅宽。因此近年来受到了许多学者的广泛关注。简缩极化分解是提取简缩极化数据信息的重要方式。目前,对于简缩极化SAR目标分解主要有三大思路:基于波的二分解理论的方法、基于特征值的方法以及基于模型的方法。然而,对于目前大多数分解方法,都存在着高
随着科技的不断发展,各个行业领域所积累的数据信息与日俱增,不平衡数据问题无处不在,相关分类问题已成为数据挖掘领域的一个研究热点。针对不平衡数据分类问题的研究主要分为数据层面和算法层面两个角度,本文将从上述两个角度展开研究工作。本文首先将合成少数类过采样技术（SMOTE）与支持向量机（SVM）结合,形成SMOTE-SVM算法。将该算法在UCI数据集和实际工业数据集中进行试验,分析其在数据生成与分类上
磁共振成像（MRI）是目前医学领域内普遍采用的一种影像技术,其基本原理是核磁共振,即人体（处于强磁场中）中的氢原子核被特定频率的射频脉冲激励而产生共振,向外辐射射频信号,这个回波信号被采集,并通过特定的方式重建以得到人体图像。传统上MRI的射频回波信号是通过同轴电缆从屏蔽室的低噪前置放大器传送到设备室的谱仪进行采集,这种情况下模拟信号的传送必然存在一定的衰减,并且容易受到干扰。因此,为了改善MRI
血浆是最可靠、最方便的疾病诊断生物标志物来源,广泛用于即时诊断。然而,在进一步分析生物标志物之前,需要从血液中提取血浆,血浆的提取是许多临床测试的先决条件。血浆中含有多种蛋白质标志物,因此检测血浆中的蛋白质是最直观可靠的。使用微流体技术可以显著降低分析成本,并使分析设备小型化,使生物样本分析过程变得更加简单。介电泳技术是一种主动分离法,和离心、过滤等传统方法相比该技术操作简单,生物危害少。介电泳在
理论研究与工程实践表明,模型预测控制面向处理复杂化工过程的非线性、大时滞等特性是一种有效的方法。然而,其预测模型的建立通常需要进行现场的在线测试、而影响正常生产;另外,化工过程由于受到原料状况以及调度策略的改变、产生多种操作工况,这会使得单一工况的预测模型出现较大偏差,从而降低模型预测控制的性能。针对以上问题,论文研究了一种基于数据深度学习的化工过程多工况模型预测控制方法（MC-MPC）,所完成的