论文部分内容阅读
人机对话作为人工智能领域的核心技术之一,一直以来备受学术界与工业界的关注。早期,人机对话系统的构建主要基于规则、模板或者检索的方法。近年来,深度学习技术的发展使得现有人机对话技术有了突破性的进展。随着人机对话系统应用场景的不断扩展,人们提出更高的需求,无论是任务型人机对话还是开放域的闲聊,都希望机器兼具智商与情商,能够灵活地与人交流,理解并且表达情感,而不是给出冷冰冰的回复。然而,现有的对话生成研究大多致力于提高回复内容的相关性,在情感对话生成上的研究还较少。本文研究基于深度学习的情感对话生成,即根据用户对话消息与指定情感类别,生成语法正确、内容相关且包含指定情感的回复,情感类别包括{其他、喜欢、悲伤、厌恶、愤怒、快乐}六种。本文的主要工作如下。本文提出基于内容与情感联合解码的情感对话生成模型(EDG-JDCE)。研究表明,在对话生成模型中加入情感因素会导致生成回复的内容相关性降低。为了缓解上述问题,该模型构建基于内容与情感的联合注意力机制与联合解码器。在解码器中设计独立的内容解码单元与情感解码单元,分别学习对话中内容与情感的表达能力。在解码过程中,引入基于内容与情感的联合注意力机制,根据内容与情感的表达状态,获取注意力权重,动态对用户对话消息进行编码。同时,本文在该模型的基础上,探讨One-hot与Embedding两种常见的情感类别表示方式对模型的影响。本文在NLPCC2017发布的情感对话语料上进行对比实验,实验结果表明,相比其他模型,该模型在各项评价指标上均有一定程度的提升。EDG-JDCE模型使用极大似然函数作为目标函数,同样会出现这种方法下普遍存在的“安全回复”的问题,如“我不知道”等。为了提高回复的多样性,本文提出基于序列生成对抗网络的情感对话生成模型(EDG-SeqGAN),主要包括生成器、内容与情感鉴别器。生成器使用EDG-JDCE模型,内容与情感鉴别器均基于双向长短时记忆网络。在对抗训练中,使用内容鉴别器保证生成器生成与用户对话消息内容相关的回复,使用情感鉴别器引导生成器生成包含指定情感类别的回复,从而最终生成更接近真实对话的回复,提高回复的多样性。实验结果表明,本文模型生成的回复在内容和情感上相关,同时也更加丰富、多样。