【摘 要】
：
生产环境的多扰动问题限制着传统基于静态调度和重调度的智能调度系统在实际生产场景中的应用,而随着实时数据的获取、大数据的储存和快速强大的算力正走进制造业,在线调度在实际生产调度决策中应用的可行性大幅增加。同时,深度强化学习作为一种对学习标签无要求、训练后求解速度快且求解质量较高的方法,能有效满足在线调度的求解需求。因此,本文基于深度强化学习研究置换流水车间调度问题,以期得到一种更易落地的方法。首先,
【基金项目】
：
国家自然科学基金委员会联合基金项目,U20A6004,高密度器件智能制造的基础科学问题研究； 国家自然科学基金青年基金项目,51905199,基于 AGV 的生产系统逻辑/物理混合重构理论与方法研究； 企业合作项目,数字化车间 MES+系统研发；
论文部分内容阅读
生产环境的多扰动问题限制着传统基于静态调度和重调度的智能调度系统在实际生产场景中的应用,而随着实时数据的获取、大数据的储存和快速强大的算力正走进制造业,在线调度在实际生产调度决策中应用的可行性大幅增加。同时,深度强化学习作为一种对学习标签无要求、训练后求解速度快且求解质量较高的方法,能有效满足在线调度的求解需求。因此,本文基于深度强化学习研究置换流水车间调度问题,以期得到一种更易落地的方法。首先,针对静态置换流水调度问题,建立一种基于指针网络的端到端调度方法。根据车间调度问题的特点,添加注意力机制并改进指针网络结构,增强指针网络的特征挖掘能力;结合策略梯度和确定性策略梯度的优点设计了一种强化学习方法简单确定性策略梯度（SDPG,Simple Deterministic Policy Gradient）;通过TA数据集验证所述方法的有效性和优越性。其次,针对现实生产环境的不稳定性,提出一种基于深度确定性策略梯度算法（DDPG,Deep Deterministic Policy Gradient）的在线调度方法。针对生产现场环境扰动多且频繁的问题,设计一种灵活的单步决策网络以加快决策速度;设计一种异构动作-状态值网络训练决策网络;针对DDPG不可用于解决离散问题给予解决方案,添加变化的噪声和搜索范围加速DDPG收敛;通过实验证明DDPG改进方案的优越性及在线算法较其他算法的优越性。此外,针对在线算法无法将实际生产扰动转化为调度数据的问题,以一制药冻干置换流水车间为例,设计可快速响应扰动变化的多Agent系统。设计一种内置神经网络的Agent结构以使Agent具有全局视野;设置Agent池避免反复创建与销毁Agent,减轻强扰动下系统的运作负担;研究多Agent系统对四类混合扰动的动态协商机制,加强在线调度算法的可落地性;对实例进行仿真,并分析提出的方法较药厂原调度方法的优越性。最后,对全文工作进行总结,并从三个方面对未来研究方向进行展望。
其他文献
数字金融是传统金融通过科技赋能形成的新金融模式,对激励微观企业创新投入和宏观经济高质量发展有重要的作用。本文基于2011—2018年沪深A股数据,探究地区数字金融与注册地归属于该城市的企业的研发行为有无显著关系。研究结果表明:第一,不论是省级还是市级数字金融发展程度,在一定程度上刺激了企业研发投入资金的增加。本文的稳健性检验在替换解释变量和剔除不可观测因素后,结论依然成立。第二,分解数字金融指数至
近年来在监管政策趋严的背景下,我国债券市场正不断打破刚性兑付,信用债违约渐趋常态化。对此,本文开展信用债违约风险识别与预测研究,对当前信用债的市场违约概况、影响、影响因素、测度方法等方面加以梳理,介绍了本文涉及的机器学习基本理论。研究设计方面,本文选取我国信用债2014-2020年共1870个债券发行主体作为研究对象,创新性地从宏观、财务、非财务及区域层面构建信用债违约预测因子体系,使用随机森林回
随着社会与科技的发展,能源问题受到的关注日益增多,越来越多的工厂和公司希望实现其冷暖气系统和照明系统具有随着人员的流动而进行自动调节的功能,从而实现节省能源与花销的目的,因此对一定区域内人数的检测和人员的定位具有重要的意义。本文提出一种基于WiFi的人数检测和室内定位方案,其中传感器的部署是基础,之后基于此进行人数检测和室内定位。首先,在传感器部署阶段,根据室内定位的需求,针对三重覆盖问题中存在的
神经元间的信息交流依赖于突触囊泡释放的神经递质。由囊泡包裹的神经递质经过转运、锚定、膜融合等过程分泌至突触间隙,进而作用于突触后膜受体。膜融合是在Ca2+触发下,由SNARE复合物介导的精密调控过程。SNARE复合物的组装起始于Munc18-1/Syntaxin-1,而Munc13-1作为调控因子催化打开Syntaxin-1的闭合构像促进SNARE复合物形成。作为SNARE复合物的上游调控因子,M
经济金融体系的流动性传导,很大程度上需要依赖商业银行来进行,商业银行的重要性不言而喻。当前世界经济环境不容乐观,在最新的政府工作报告中,“保持流动性的合理充裕”更是成为了2021年的工作重点。在国际经济金融环境严峻的情况下,商业银行作为金融体系中的主要参与者可能会采取一种极端的经济行为:囤积自身的流动性。在相关研究成果较少的情况下,明确经济政策不确定的作用效果可以丰富相关经济理论、促进商业银行更好
随着电子通信技术的快速发展,PCB（Printed Circuit Board）的市场需求大幅增加,生产调度成为PCB制造企业的重要一环,因此,研究PCB生产调度问题具有重要的理论意义和应用价值。本文对PCB生产调度进行了深入研究,并考虑车间批量生产和动态环境,研究了批量流PCB生产静态和动态调度问题,基于人工蜂群算法设计了有效的调度方法,并开发了PCB生产调度原型系统。针对批量流PCB生产静态调
混流生产车间中生产流程复杂且每个车间的生产计划都需要结合关联车间的计划方案,这对计划调度的精准性要求很高。因此,为了提高生产效率、缩短制造周期和减少生产成本,制定合理的生产调度方案尤为重要。然而,传统的依靠经验手动编排并执行生产调度方案缺乏精确性和严谨性,需要根据企业需求及特点通过研究应用合适的生产调度方法加以解决。本文主要研究了复杂的两级混流生产制造系统,以准时化生产和并行机调度等理论为基础,剖
本文主要基于某大型机械产品制造企业堆场发运物流实际场景,研究了优化堆场发运物流运作效率的两个方面,即装车方案优化与堆场车辆调度优化。具体地,装车方案优化主要聚焦于求解一类二维多箱型装箱问题;堆场车辆调度优化则基于实际场景中的多种约束提出,旨在细化车辆入厂计划的制定。在堆场发运物流运作中,装车方案作为车辆入厂计划制定与堆场车辆调度的输入。本文的主要内容包括:（1）研究了一种以最小化所使用车辆总成本为
结构设计是将抽象设想转化为具体设计表达出来的关键环节。当下不论在工业生产,还是科学研究领域,随着新要求的提出与原要求的提高产生出各种各样极具挑战性的结构设计及优化问题,对于结构优化设计方法而言提出一系列更严苛的要求,如更高的效率,更准确的表达,更方便易用等。虽然传统结构拓扑优化方法已应用并解决了一些设计优化问题,但其仍受限于本身的固有缺陷,如设计优化结果难以直接用于加工制造,庞大的设计变量数目,求
“建设堪当民族复兴重任的高素质干部队伍”,是党的二十大报告的重要命题，是推进党的事业发展、实现党的执政使命的重大课题。党的十八大以来，中国共产党高度重视建设高素质干部队伍，为全面建设社会主义现代化国家、全面推进中华民族伟大复兴提供有力的干部支撑。认真落实党的二十大精神，确立适应建设堪当民族复兴重任的高素质干部队伍要求的理念，着力破解干部队伍建设中存在的突出问题，构建有效管用、简便易行的干部选拔任用