融合对话状态和知识库的端到端任务型对话系统研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wendell0408
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的发展和人工智能产品的落地成熟都推动着人工智能技术的进步,而人工智能技术有一个不可逃避的问题,即需要机器能够理解和学习人类的指令,这就意味着机器和人类沟通成为了一种大众趋势,对话系统的研究也日渐重要。在对话系统中,任务型对话系统又因为具备可以解决特定领域问题和目标的能力而拥有不可估量的价值和研究空间。目前工程使用较多的任务型对话系统大多采用管道式的方法,这种方法对模块之间的依赖性较强,且不易迁移,成本较高。因此,端到端的任务型对话系统就有着重要的研究意义。端到端任务型对话系统属于一种序列生成任务,先前的方法大多采用单个编码器-解码器结构,从历史对话记录中通过端到端的方式训练,从而得到一个基于序列生成框架的任务型对话系统。由于端到端的系统类似于一个黑盒,不容易人为控制,因此很难自动学习到对话任务中的内在结构和知识等。针对这方面问题,本文研究在端到端系统结构的基础上融入对话状态追踪结构和外部知识库系统,并提出一个包括两个级联序列生成模型的联合端到端模型,从而改进了任务型对话系统。主要研究内容和研究成果如下:1)提出了在端到端联合模型中融入对话状态追踪的方法。通过两种不同的编码器-解码器结构,考虑对话状态中的槽位信息,将槽位按照目的分为通知和请求两种状态,以一个文本跨度的序列形式来对对话状态进行表示和更新。区别于以往单独训练的信念追踪器,本文使用单个序列模型简化了多个复杂的分类器,分别通过引入指针和记忆关系两种结构来对信念跨度做处理,结果显示有效且更利于联合模型的构建。2)提出了在端到端联合模型中融入知识库信息的方法,从而实现对外部知识进行查询。以往的端到端模型分为两种,第一,考虑状态追踪但不引入外部知识;第二,检索外部知识库但不考虑槽位的结构信息。而本文的联合模型就是要同时考虑到端到端系统结构中的这两部分。具体来说,就是通过一个带有指针的编码器-解码器网络,在联合模型第一步基础上融入外部知识库信息的结构化表示,同时引入记忆网路的多跳注意力机制来关注长距离的信息,最终直接生成系统回复,并在两个数据集上都验证了联合模型的先进性。3)在研究知识库查询的序列生成任务中,尝试了对外部知识库的结构进行更细化的表示,即分离上下文历史中的对话信息和知识库信息,并在单独的序列生成模型上做了实验,证明了思路的正确性。
其他文献
一事一议财政奖补政策是我国村内公共产品自愿性供给的唯一方式,是村级公共产品供给的重大创新制度。随着农业转移人口的不断增加,财政奖补筹资结构已由以“村民筹资”为主逐步向以“村集体出资”为主转变。那么为了适应新形势,本文提出能否可以通过壮大农村集体经济来达到提高一事一议财政奖补政策实施绩效的目的?这对于我国村级公共产品供给制度的完善具有重要的理论意义及现实意义。本文基于2017年辽宁省205个行政村的
近年来,舰船作为重要的海洋交通工具和有价值的军事目标,对其遥感图像进行自动检测具有重要的现实意义。但实际情况中,遥感图像往往会受到复杂海情的影响,例如云雾遮挡、岸基干扰等,这些因素都会增加舰船检测的复杂度。本文在研究遥感图像特性的基础之上,依托现有的深度神经网络方法,开展了基于DNN的遥感图像海面目标检测技术的研究,主要研究内容包括如下:(1)研究了将深度神经网络应用于遥感图像海面目标的检测,并利
图像风格迁移是图像处理领域的研究热点,可用于影视特效、艺术创作等领域。图像风格迁移就是将一张普通图像经过风格迁移技术,在内容不变的前提下使得其风格转变,生成具有另外一种风格的图像。图像风格迁移方法主要分为传统的图像风格迁移方法和深度学习的图像风格迁移方法。传统的图像风格迁移方法效果不佳,难以应用于人们生活中。随着计算机视觉、数字图像处理、机器学习的快速发展,深度学习的图像风格迁移方法受到研究者的广
湿地作为水陆过渡带,在调节气候、净化水质、涵养水源、保护生物多样性和维持自然界生态平衡等方面有着其他生态系统不可替代的作用。本文以辽河口湿地为研究对象,利用定点采样测定,结合统计学和数学模型对沉积物中石油烃、总氮、总磷、有机质、p H及电导率进行分析,探究湿地不同功能区石油烃含量差异与空间分布规律,了解湿地沉积物理化性质基本状况,探究其与石油烃的内在联系。从而为合理开发利用湿地提供科学、可靠的理论
近年来,后过渡金属末端亚胺基配合物被发现在C-H键胺化和烯烃的氮杂环丙烷化反应中表现出较好的活性,因而引起了化学工作者研究兴趣。我们课题组前期通过三配位的零价铁、钴配合物与有机叠氮反应合成了一系列铁、钴末端亚胺基配合物。在此基础上本论文主要研究了氮杂环卡宾配体稳定的零价镍配合物与有机叠氮化合物的反应。尝试利用它们来合成氮杂环卡宾稳定的镍亚胺基配合物。主要包括以下两个方面的内容:1.通过氮杂环卡宾和
蚕卵卵形的遗传与形成的分子机理是近来研究热点之一。本课题组2017年在家蚕Nistari品种中新发现了一种长形卵突变体——Nistarielp。该突变体卵的长轴与短轴的比例为1.7,明显大于正常卵形(1.26);孵化率为59.49%,远低于正常卵(86.43%)。本文在调查Nistarielp遗传分析的基础上,以Nistari正常卵为对照组,对长形卵和正常卵蛹期第一天至第三天的卵巢样品进行了转录组
本文研究的公路为除高速公路以外的普通国省干线公路,随着公路建设高潮逐渐减退,公路养护工作将成为今后一段时间的主要工作,如何加强公路养护管理,最大限度地提高公路的使用
镍基合金于二十世纪30年代后期开始研制,它是以镍为基体在高温时具有较高强度和一定的抗氧化、抗腐蚀能力等综合性能的一类合金,是超超临界燃煤发电技术中的关键材料。对于高合金化镍基合金,由于热塑性差,则采用挤压开坯后轧制或用软钢(或不锈钢)包套直接挤压工艺,其常规生产工艺包括“模铸+热轧+冷轧成型”工艺,生产效率较低。对于镍基合金而言,由于镍基合金高温热塑性差,连铸过程中会产生铸坯表面易开裂等问题,故无
家蚕研究历史悠久,遗传背景清楚,是继果蝇、按蚊之后第三个完成全基因组测序的鳞翅目模式昆虫和重要的经济昆虫。家蚕作为寡食性昆虫,对其天然桑叶几乎都具有良好的摄食性。然而,家蚕对非寄主植物和人工饲料的摄食性在品种甚至个体之间存在很大的差异,还受多种因素影响。家蚕摄食性是一个复杂的生理过程,除了食物因素外,代谢相关基因的表达调控是其内在的重要因素。截止目前,家蚕人工饲料代谢相关基因尚未获得,其分子机理也
自改革开放以来,中国汽车工业取得了举世瞩目的成就。在汽车工业发展过程中,汽车零部件加工制造也取得了显著成绩。但是在经历20多年的持续增长后,2018年的中国汽车产销量首次遭遇负增长,2019年亦是如此,汽车行业进入了发展史上的寒冬期。整车行业尚且如此,可想而知,与之配套的汽车零部件行业更可谓是雪上加霜、步履维艰。如何在严峻的市场环境中,发掘并保持核心竞争优势,成为众多汽车零部件厂商所面临的重大课题