电气操作票制度是我国电力系统运行管理中的重要制度,是一种防止误操作的有效措施。操作票制度要求工作人员严格按照操作票的指令进行倒闸操作,这就避免了误操作的发生,以防止造成设备、经济损失以及人身安全事故。随着电网的扩建和设备种类的增加,倒闸操作任务变得复杂,这就需要操作票系统的自动化水平和智能性得到进一步的提高。目前的操作票系统多是基于专家系统的,构建知识库常常成为开发这类系统的瓶颈。同时,随着操作规则、设备和网络的变化,知识库的管理和维护也变得艰难。随着人工智能的发展,深度学习和强化学习逐渐成为机器学习中有效的方法。将深度学习强大的感知能力和强化学习的决策能力相结合,能够解决较为复杂的感知决策问题。本文则基于深度强化学习的思想,用Shaping确定性策略梯度算法解决操作票系统的自动推理问题,进而开发设计出完整的操作票系统,以解决目前操作票系统存在的智能性低、通用性差的问题。确定性策略梯度算法具有学习速度快、稳定性高的特点。本文用Shaping思想对确定性策略梯度进行改进,减小其方差,进一步加快其学习速度。之后在此基础上,设计并实现了智能操作票系统的自动开票过程。在网络训练中,结合了经验回放技术和目标网络技术,消除数据间的关联性,进一步提高系统的稳定性。针对倒闸操作规则,本文设计了电力网络的评估函数,用于对电力网络的优劣状态进行评分,并基于此设计出倒闸操作环境下的回报函数,用以实现强化学习过程中的智能体和环境交互。同时该系统还采用数据处理模块和卷积模块对原始数据进行特征提取,进一步提高系统的感知能力和学习效率。本文中系统使用DJANGO框架进行开发,数据库应用MySQL技术进行搭建,推理算法用Python语言结合TensorFlow和TensorLayer实现。工作人员可用该系统进行自动开票和历史票调用操作。经过具体实例的验证和分析发现,该系统能够推理出符合要求的操作票,可以为现场操作人员提供指导性的意见,且具备智能性和通用性。