基于深度学习的任务型对话自然语言理解方法研究

来源 :西安电子科技大学 | 被引量 : 1次 | 上传用户:linan9348
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
任务型对话系统旨在通过人机交流方式收集用户需求信息,为用户提供信息服务或完成用户指定的任务,而系统是否准确理解用户需求,自然语言理解模块至关重要。本文首先对单轮对话的自然语言理解任务展开研究,自然语言理解中最关键的两个子任务分别是意图检测和槽位填充,两者之间存在紧密的联系。近年来大多数研究都会构建意图检测和槽位填充的联合模型,并在模型内部建立意图与槽位之间的联系,比如显式构建意图到槽位的单向信息关联,或者以迭代的形式轮流实现意图到槽位或槽位到意图的单向信息传递。但这些研究没有考虑在模型迭代时同时建立意图和槽位的双向关联,两个子任务信息交互的效率较低,从而限制了自然语言理解的性能,为此本文提出了基于意图-槽位双向信息关联的单轮对话自然语言理解模型。而对于多轮对话场景中的自然语言理解,引入历史轮次信息和外部知识可以很好地提升任务性能。历史轮次的对话信息能够为当前轮次对话提供语境上的支持,同时外部知识库能够为模型补充常识和知识概念,提升模型的推理能力。传统的做法是通过注意力机制获取与当前对话整个句子相关的历史信息和外部知识,本文则将注意力机制模型的查询对象精确到每个词,获取当前词的历史信息表示和当前词的外部知识表示,词级别的注意力机制更加细化、准确和丰富,对意图检测任务和槽位填充都有着较大的提升。为此本文提出了一种基于词注意力筛选历史信息和外部知识的多轮对话自然语言理解模型。具体工作如下:(1)提出了基于意图-槽位双向信息关联的的单轮对话自然语言理解模型,针对当前模型中建立意图到槽位单向关联或模型迭代时无法同时建立双向关联的不足。不仅建模意图和槽位自身信息在文本对话中的上下文依赖关系,还可以在模型迭代时同时建立意图和槽位之间的双向信息交互,互相提升各自任务的性能。模型首先利用ALBERT和BiLSTM模型对用户对话进行编码,使用ALBERT语言模型代替BERT来训练词向量,保证了词向量表征能力同时还降低了模型的参数量。然后对自注意力机制进行改进,搭建了基于自注意力的意图-槽位双向关联模块,既实现了意图检测和槽位填充各自独立的上下文信息传递,又将两个任务的上下文信息互相融合,深度挖掘两个任务之间的语义联系,从而提升自然语言理解任务的整体性能。为了验证基于意图-槽位双向信息关联的的单轮对话自然语言理解模型的性能,在公开的ATIS数据集上进行实验,选取近年来在单轮对话任务中取得了良好效果且具有代表性的模型作为对照组,结果显示本文提出的模型意图检测的准确率达到了 97.65%,槽位填充的F1值达到了 98.87%,整体准确率达到88.82%,对比其他模型性能得到了显著提升,验证了该模型在单轮对话自然语言理解任务上的有效性。(2)提出了一种基于词注意力筛选历史信息和外部知识的多轮对话自然语言理解模型,通过在(1)提出的模型基础上引入历史信息和外部知识,提升多轮对话自然语言理解任务的准确率。同时,针对如何筛选出对当前轮次对话的语义理解有帮助的历史信息和外部知识,本文提出了基于词注意力机制筛选方法。最后,为了验证基于词注意力筛选历史信息和外部知识的多轮对话自然语言理解模型的性能,在公开的KVRET数据集上进行实验,选取近年来在多轮对话任务中取得了良好效果且具有代表性的模型作为对照组,结果显示本文提出的模型在意图检测的准确率达到了94.10%、槽位填充的F1值达到了 76.53%以及整体准确率达到了 71.87%,对比其他模型性能得到了显著提升,验证了该模型在多轮对话自然语言理解任务上的有效性。
其他文献
随着物联网、移动通信等信息技术的不断成熟,汽车产业不断向信息化、智能化的方向发展。智能网联汽车在提高出行便利程度的同时,也面临不可忽视的信息安全问题,本文主要研究驾驶员身份认证问题,其中包括非授权驾驶员检测和授权驾驶员身份识别。每个人不仅具有自己独特的生物学特征,而且还具有独特的行为特征,诸如指纹识别、虹膜识别的生物识别技术存在被复制的风险,而不同的驾驶者之间驾驶行为差异很大,使用驾驶行为关键特征
学位
进入知识经济时代,供给导向的创新政策局限性不断凸显,创新学者和西方国家各国政府日益关注需求导向的创新政策,开始将政府采购纳入创新政策范畴,也就是公共创新采购,即通过政府采购创新解决方案来拉动创新需求。中国政府自2006年开始也逐步开展了PPI的政策实践。然而,公共创新采购面临的一系列障碍在某种程度上导致了PPI政策实施绩效的减损,其激励创新、引导创新和推广创新的政策功能往往无法得到有效实现。陕西省
学位
自新冠肺炎疫情突发以来,为有效遏制疫情,全国多地采取了一系列管控措施,包括封城、控制人员流动、延长公共假期及管制交通运输等。这些措施导致国内众多行业面临开工限制、原料供给不足、订单下降等供应链中断风险,以及由此导致的现金流短缺等诸多挑战,对生产经营造成了严重影响。但是对供应链决策者来说,此次危机也蕴藏着机遇。供应链可持续性越高,意味着其抵抗风险的能力越强,越能为经济、社会和环境方面创造长期效益。全
学位
随着垃圾分类政策的逐渐推广落实,且传统的垃圾回收模式在以大规模垃圾回收、垃圾分类储存运输、邻避效应、逆向物流碳排放、经济成本等为主的诸多方面已不能满足需求,我国对科学合理垃圾分类回收体系的需求逐渐迫切。本文为促进解决垃圾分类回收体系的建设问题,对实际工作提供参考、指导以及为相关领域进一步研究做出铺垫,从回收点的角度建立基于不同垃圾类别、邻避效应、逆向物流碳排放、费用等因素的选址-路径问题模型,设计
学位
电子商务物流的飞快发展导致网络购物逐步成为人们休闲生活中的重要方式。而生鲜农产品作为人们生活中的必需品,其电子商务市场成为各企业优先选择的潜力市场;与此同时,为了迎合消费者的需求,生鲜电商企业的运营模式也在迭代不断。目前,生鲜电商企业的蓬勃发展也遇到了挑战,生鲜农产品较其他产品易腐坏、易损坏,对冷链物流及企业服务质量水平要求较高且弱点在消费者体验中容易放大,因此,需要及时了解消费者满意度,这对企业
学位
近年来,随着城市经济的快速发展,X市汽车保有量高速持续增长,截至2019年底已达到360万辆。汽车给人们的生活带来便利的同时,也导致城市停车供需矛盾突出,不仅影响正常的交通秩序,也造成了停车难、违规停车等一系列问题。城市停车供需矛盾问题已经引起了城市管理者和学者的高度重视,各地政府出台了一系列停车管理政策,相关领域的研究成果也在持续增加。因此,在宏观上对城市停车资源需求总量进行预测、在微观上对城市
学位
受地理位置、经济发展水平等影响,现阶段我国先进医疗技术与设备、高水平医生(本文统称为优质医疗资源)及患者均出现明显的聚集性特征,也即优质医疗资源与患者均集中于大中型综合性医疗单位,三甲医院尤为明显,进而造成占医疗单位总数九成以上的基层医疗单位门可罗雀而大型医院门庭若市的常见现象。为解决这一问题,国务院办公厅提出分级诊疗机制。基层医院作为分级诊疗机制“向上转诊”的输出单位,在基层患者的首诊及康复治疗
学位
移动智能设备快速发展并普及,人们在日常生活中经常使用移动智能设备处理个人的事项,比如网络购物、即时通信、个人支付等活动。因此,在这些设备上存储了大量的个人隐私数据甚至是商业机密等重要数据。为了保护这些隐私数据的机密性,智能设备可以采取加密的方式,比如i OS的基于文件的加密和Android的全磁盘加密(FDE)等。在一般敌手攻击下,这些加密方式能够保护数据的机密性。但是,如果用户面对能够强制访问设
学位
随着智能移动终端逐渐普及并成为用户日常信息的重要载体,存储敏感信息和重要数据的同时也成为了潜在的安全隐患,因此智能移动设备的数据安全问题也逐渐成为用户所迫切关注的问题。生产智能终端的公司也都采取了不同的安全技术去保护用户的数据安全,例如iOS平台的文件加密和安卓平台的全盘加密。通常情况下用户可以通过设置锁屏口令或者图案来保护自己的数据安全。这些数据保护技术在通常的情况下确实可以对用户的数据起到保护
学位
近年来随着互联网中隐私数据泄露事件的频发,为用户提供通信行为隐私保护的匿名通信网络受到各方广泛关注。匿名通信技术可以有效隐蔽和保护用户的身份信息及其通信关系,从而保护用户的隐私。cMix作为一种新型的高效匿名通信网络,将通信分为预计算阶段和实时阶段两部分,其中预计算阶段用于进行开销较大的公钥密码运算等前期准备工作,而用户仅需要参与对消息进行混淆盲化处理的实时阶段,具有实时运算开销小、时延低等优点,
学位