整合外部知识的人机会话生成模型研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:fighterok
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人工智能技术飞速发展。其中,人机会话系统是当前研究的热点。传统的会话生成技术主要以序列到序列框架为基础,该框架从海量数据集中学习会话上下文的语义信息并生成相关的回复,但基于该框架生成的回复有生成通用响应且包含较少信息等问题。这个问题在一定程度上影响了用户使用体验,降低了人机会话的持续性。利用外部知识可以加深语义理解,丰富响应表达,提供除会话上下文之外的语义信息,使得模型生成更具多样的回复。因此,针对上述问题本文展开如下研究:(1)本文对如何选择恰当外部知识以及将知识整合到响应生成中进行研究,提出一种基于孪生网络的知识驱动会话生成后验知识选择模型。本文设计了一种新的知识选择机制,以获取与会话语境高度相关的知识信息。使用后验知识分布作为软标签,使训练过程中的先验分布与后验分布保持一致。同时,为了缩小先验和后验分布之间的差距,提高知识选择的准确性,利用孪生网络,设计多粒度匹配模块进行知识选择。与之前的基于知识的对话生成模型相比,本文的方法可以选择更合适的知识,并利用所选择的知识生成与会话上下文更相关的响应回复。根据自动评估和人工评估的结果发现,本文提出的模型比以前的基线模型更有优势。(2)针对知识选择与响应生成被分成两个过程,导致知识在解码器中融合不足的问题,本文提出自适应知识选择交互会话生成模型。将知识选择的过程整合到解码器的响应生成过程中,提高知识选择与响应生成的结合程度,通过当前的解码状态动态更新知识选择,获取与当前解码状态更相关的知识信息。同时根据指针网络的思想设计双重拷贝复制机制,灵活的从输入上下文以及所选择的知识信息中拷贝实体词,在一定程度上缓和OOV(out-of-vocabulary)问题,让生成的响应回复包含更多有用的信息。通过自动评估与人工评估的结果可知本文所提出的模型有利于提高知识选择的准确度并提高模型生成响应回复的质量。
其他文献
随着神经胶质瘤发病率逐步上升,作为关键辅助诊疗手段的医学图像处理技术受到了越来越多的关注。其中,脑部磁共振图像分割与重建算法的有机结合能极大便利诊疗决策、模拟手术、术后规划以及医疗教学等医学任务。因此,分割与重建算法的设计一直都是医学图像处理与计算机辅助诊断领域备受关注且极度活跃的研究热点。然而,在成像过程中,高斯噪声和莱斯噪声经常叠加出现,造成采集到的图像质量退化,导致分割精度受限。同时,现有的
学位
随着电子信息技术的发展,图像作为一种信息的载体,在人们的日常生产生活中被广泛地用来传输信息。但是,在图像的传输、压缩、存储或者相机的拍摄过程中都有可能产生信息丢失,从而导致图像整体质量的下降。因此,如何建立一个高效、准确的图像质量评价方法成为了计算机视觉领域的重要问题。随着深度学习的发展,越来越多的方法将卷积神经网络应用到图像质量评价领域中,并取得了良好的预测准确性。然而,失真图像中包含丰富的图像
学位
图像版权保护通常是通过数字水印来实现的,因此数字水印也广泛应用于数据保护和数据所有权认证领域。然而,现有的数字水印存在固有的缺点,需要完全可信的第三方作为仲裁方,泄露风险和成本较高。第二,图像水印算法在对图像数据进行操作时不可避免地会导致图像数据的丢失,而这通常是不可逆的。零水印算法可以解决数据丢失的问题,但与传统的数字水印相比,零水印算法更依赖于可信第三方,这使得其应用前景受到限制。总体而言,本
学位
行人重识别(Person re-ID)的目标是匹配由拍摄视角不重叠的不同摄像头捕获的相同行人身份的图像。目前基于监督学习的行人重识别方法在单域上的性能提升最大,但是将一个在单域上取得高性能的模型直接运用到没有标签的新域上时,往往性能会出现下降的情况。这是因为不同域间样本由于拍摄的摄像机不同,因此会有比较大的域间差,这也是无法高效地将行人重识别使用在实际生活中的一大原因。为解决上述问题,学术界提出了
学位
随着人工智能技术的快速发展,神经网络与气象领域的结合更加紧密。在灾害预警方面,短临预报系统发挥着重要的作用,当前业务上主要的方法是基于雷达回波的外推法,但是预报效果还有很大提升空间。本文从深度学习的角度出发,研究和改进了基于长短时记忆网络(Long Short-Term Memory,LSTM)的预报方法。本文的主要研究内容如下:(1)本文提出了一种残差卷积长短时记忆模型。在高强度回波外推场景下,
学位
隐写技术一直是信息隐藏技术的一个重要分支,它可以很好地保护机密信息的安全传输,例如军事信息、商业信息的传递等,具有重要的现实意义。过去,主要是通过经典隐写的方法来保护信息的安全传输,但随着近些年来人工智能技术和量子技术的不断发展和突破,经典隐写面临着越来越大的风险和挑战。因此,设计出能够抵御未来量子计算机攻击的隐写协议是十分有必要的。为此,本文利用量子图像的特性以及经典编码的优点,对具有高嵌入效率
学位
当前基于数字水印技术的图像版权保护方案中采用的传统水印算法主要适用于单幅图像,而在为大量图像提供保护时,重复性的操作会花费大量的时间和认证费用。零水印算法相较于传统水印算法不仅不会修改图像的数据,而且更适合对多幅图像同时进行版权保护。现有的多幅图像零水印算法虽然能够实现同时为两幅或三幅及以上的图像提供版权保护,但这类算法难以保护图像集内的全部图像,而且重复性操作还会降低算法的执行效率。因此,本文针
学位
短临降水预报是一项重要且具有挑战性的世界性难题。由于降水本身具有高度非线性、随机性和复杂性的特性,使得传统方法的预报准确率不足以满足气象业务的需求。目前短临降水预报的主要手段是基于天气雷达资料的雷达回波外推技术,基于深度学习方法进行雷达回波外推已经受到研究人员的广泛关注。深度学习方法具备对非线性复杂系统进行建模的能力,且在准确率方面已经超越了传统方法。但目前提出的雷达回波外推模型仍存在一定的不足,
学位
当今时代,人们在互联网中产生的数据在以每18个月翻一番的速度迅猛增长,其中占据最大比例的数据形式是图像。在巨大网络资源涌入的背景下,人们也面临着信息安全的巨大挑战。以图像为主要数据载体的信息安全相关研究已经受到了广大研究者们的关注,其中一项重要的研究工作就是以图藏图。以图藏图技术是把需要隐藏的大容量信息分散、嵌入和融合到另一张载体图像中的隐蔽通信技术。该技术的发展得益于近年来快速兴起的深度学习。以
学位
在科学研究与工程应用领域,多目标优化问题普遍存在。这些问题由多个互相冲突的目标构成,难以在有限时间内采用常规方法求解,目前普遍采用进化算法来快速地搜索出一组近似最优解。进化算子是进化算法中的搜索引擎,研究表明,单一进化算子难以处理各种类型的优化问题,因此结合多种进化算子来提高算法的泛化性逐渐成为这一领域的主流研究方向。本文为提高多目标进化算法在求解不同特征优化问题时的能力,从优化现有自适应算子进化
学位