任务型对话中意图识别和槽填充的联合算法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:uspjxt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现在社会科技发展进步明显,深度学习在自然语言处理中得到了较深的应用。对话系统的研究变得越来越重要,吸引着人们大量的关注,在人们生活中应用越来越广泛,尤其是针对特定的领域的任务型对话系统可以帮助公司大大的节约成本,给人们生活带来方便。自然语言理解、状态追踪、自然语言生成是对话系统的三个主要部分。自然语言语义理解模块是为了对输入的话术进行信息提取,以便机器更好的进行后续任务,需要把输入的非结构化信息转化为机器能理解的结构化信息。意图识别和槽填充是模块中非常重要且基础的任务,目前的模型中一般是将两个任务分开来建模,忽略了二者之间的关联性,没有将意图识别和槽填充任务很好地结合。对两个任务进行联合不但可以减少参数的使用,而且可以提高性能。因此本文围绕着如何加强二者之间的联合提出了相应地模型。本文从两个方面研究了意图识别和槽填充的联合模型,主要工作内容如下:第一、通过调研和实验,设计实现了多种意图识别和槽填充任务的基线算法,并搭建了任务型对话系统;同时也实现了基于参数共享的联合算法模型,针对当前联合模型存在的问题进行了分析讨论。第二、基于预训练机制,在底层的编码层实现了意图识别和槽填充模型的融合。本文采用了BERT模型来实现联合模型,利用BERT来代替意图识别和槽填充基线模型中的底层词向量表示模型。通过BERT实现两个模型的底层参数共享,从而加强输入文本的特征表示。实验结果表明,我们的模型在数据集上面取得了很好的效果。第三、基于指导式的融合机制,在意图识别和槽填充的输出端实现了模型融合。将编码后的意图识别结果通过线性变换加到每个词的槽位信息表示向量中,让意图信息去指导槽位填充模块,从而加强意图识别和槽填充的联合。基于ATIS、Snips数据的测试表明,该模型取得了很好地表现。第四、依据上面的创新联合模型搭建了一个面向打印机售后报修的中文对话系统。该系统是为了缓解客服压力,使之可以更好的迅速回答用户的问题。搭建的该系统应用了上述的创新模型,可以很好地和用户完成问答交互。
其他文献
广西地跨北热带、南亚热带和中亚热带,植物丰富程度居全国第三位,境内山系纵横,盆地相间,石灰岩区和酸性土区错杂,是植物区系研究的理想区域。长期以来, 广西植物引起了众多
目前汽车高速发展的同时也迸发了一系列问题,环境污染、资源紧张等促使了新能源汽车领域进入了全球重要发展行列。我国近年来也出台了很多相关政策,促进了新能源汽车的发展,因此深入研发新能源汽车技术是未来必然趋势。汽车动力系统是整车核心部分,而新能源汽车在动力系统方面技术发展尚处在发展初期,对变速器加载后的换挡研究一直未有实质性有突破。因此,本文首先根据电动汽车的整车性能设计目标,对动力系统进行动力匹配加装
在市场经济高速发展的今天,商业发挥着至关重要的作用,从我国经济发展的实际情况来看,商业正成为国民经济的先导产业,而商业地产又是商业运营不可或缺的场所。随着商业地产在规模上不断扩大,在品质上不断提高,商业建筑已成为各个城市的地标建筑。与一般房地产开发项目相比较,商业项目具有建筑单方成本高、成本构成更加多元化、功能更加复杂等特点。近几年来由于经济增速放缓,互联网商业蓬勃发展等因素,商业地产竞争更加激烈
近年来,中国应该如何实现产业升级受到学术界的广泛关注,而产业升级的实现取决于产业内代表性企业是否能够实现优化升级。国有资本授权经营体制改革立足于国有企业进行高质量发展的需要,对于激发国有企业的发展潜力、持续推进国有企业实现转型升级十分关键。在国有资本授权经营体制改革中,所建立的以管资本为主的新型授权模式将是否有效促进了国有企业升级,及其对国有企业升级的作用机制与影响效果尚有待分析和讨论。本文以国有
网络设施的完善和移动互联网的普及使得人们能够便捷地通过社交媒体发布和获取信息。社交媒体已经成为事件传播的重要渠道。对社交媒体中的热点事件进行发现和分析,有助于研究人员了解事件的发展趋势,为相关部门舆情干预和引导提供数据参考。与新闻文本相比,社交媒体文本有口语化强、文本长度短、无用文本多的特点,这使得新闻文本事件识别技术和趋势分析方法无法直接应用。当前,社交媒体事件分析的研究工作主要基于统计特征来进
随着我国经济的高速发展,房地产市场的发展也呈现出良好态势,人们越来越迫切能够快速的获得有效的房地产信息。能够及时准确的对房地产进行估价,这不仅可以为开发商合理的开发楼盘、居民选购住房提供准确的预测价格,而且能确保房地产交易中两方的业务有条不紊的进行。近些年,有许多学者在房地产价格评价中运用数理模型,这种做法可以迅速、准确、低成本、大规模的评估房地产价格。本文参考国内外最新的理论成果使用机器学习模型
设计阶段是房地产项目成本形成的关键时期,在组成项目最后总成本方面有着不可忽视的关键影响,加大对设计阶段成本管理的力度,可以有效的对工程总成本造价起到优化作用,从而增强项目开发企业在房地产市场中的竞争力。以设计阶段的成本管理问题为中心进行讨论,首先,明确目前在这一环节当中起关键作用的因素,总结为以下三点:一是设计人员不能明确意识到成本控制问题的要点;二是设计人员缺乏进行成本管理的自主意识;三是设计人
山区高速公路易出现高边坡工程,由于自然环境和施工等影响,原有地质平衡条件往往被破坏,在暴雨等恶劣自然条件下,边坡易出现失稳、滑坡等路域地质灾害。为及时掌握边坡稳定情
京津冀城市群的工业发展水平在近年得到极大的提升,然而工业经济在短时间内的快速发展也导致了很多问题的发生,如产品饱和生产、技术不能及时创新、投资不谨慎、生产加工效率
研究背景眼部整形是整形外科重要的组成部分,眼部美学对于临床工作也非常重要,既往的面部软组织测量多是依靠手工或二维照片完成,测量误差较大且易受操作者及受试者的影响,当