基于深度学习意图识别和槽位填充研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:shenglove5
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
意图识别是一个句子分类任务,用来识别句子意图。而槽位填充则是一个序列标注问题,所谓的槽位就是这个词的语义信息。现在有许多成熟的理论去研究这个任务,在应用上已经有许多比较成熟的成果,比如聊天机器人阿里小蜜等。它们能根据和你的对话判断你说话的意图并给出答案。在类似淘宝客服这种机构扮演着重要的角色,节省了大量人力物力。当然意图识别领域发展也存在着许多不足甚至是障碍,比如数据集匮乏等问题。本文主要对各种意图识别槽位填充的模型进行研究,多角度对比模型优劣并对新的模型进行了研究。现在意图识别槽位填充的主流研究方法都是基于联合模型的研究,把本来的两个任务通过参数共享的方式联合学习,取得了不错的进展。本文的研究也聚焦于联合模型。以下是本文的主要研究内容:(1)本文将TOKEN算法应用于中文数据集SMP2019。TOKEN算法是在英文数据集ATIS和SNIPS上的意图识别和槽位填充算法。ATIS,SNIPS数据集与SMP2019数据集存在着语言和任务上的差异,无法将TOKEN算法直接应用在SMP2019数据集。因此本文参考TOKEN算法的原代码和论文,改写并扩充了SMP2019的官方baseline,将TOKEN算法成功应用于SMP2019数据集;(2)目前意图识别和槽位填充的研究大多集中于英文数据集ATIS和SNIPS,本文通过7种模型在中文数据集SMP2019上的对比实验,对其结果进行分析,探讨了每一个模型的优点和缺点,以及模型间融合的可能性;(3)本文将SF-ID算法和TOKEN算法结合起来。TOKEN算法的特点在于把句子级分类任务转化为字级别分类任务,所以本文引入字意图向量和字领域向量的概念来表示一个字所包含的句子意图信息和句子领域信息。在SF-ID算法中,还是把意图分类和领域分类看做句子级分类任务,并没有考虑字的意图信息和领域信息与字的槽位信息的依赖关系,只使用句子级向量进行信息融合。这种融合方式会产生很多的冗余信息。本文放弃句子级向量,使用字级别向量进行信息融合,很大程度上避免冗余信息带来的影响。实验中本文方法在准确率和f1值上都取得了不错的提升;(4)基于TOKEN算法使用意图信息增强领域信息。通过实验发现意图分类的分类效果最好。所以本文结合TOKEN算法,将意图分类和领域分类两个句子级分类任务看做字级分类任务。而槽位填充任务是一个序列标注问题,也可以理解为字级分类任务。这样,就可以类比意图分类任务和槽位分类任务的关系,用相似的方法得到基于意图信息增强的领域信息。实验效果相比较前面的方法在领域分类准确率和槽位标注f1值上都有一定程度的提升;(5)考虑到中文数据集的特点,使用百度的ERNIE代替BERT作为预训练模型,然后加上本文的模型,发现实验结果仍然有一定提升。
其他文献
宋代在继承隋唐科举制度的基础上,逐渐形成了一套相对完善的省试阅卷、考校和上奏的评卷制度。宋代省试三级阅卷制度经历了一个复杂的发展过程,宋代初年由知举官负责阅卷考校,北宋真宗时期采用二级阅卷考校,至南宋发展为三级阅卷考校。宋代省试阅卷考校对诗赋音韵、文章字数和文风都有具体的评判标准。诗赋要求押韵,且制定了专门的押韵条令。文章字数有严格的规定。同时评卷注重实用文风,摒斥虚浮言论。宋代省试评卷结果由礼部
m6A RNA甲基化是指RNA腺嘌呤的第6位氮原子发生甲基化,属于最常见的一种RNA修饰方式,广泛存在于真核细胞中,参与RNA的转录、加工、剪切、翻译和降解过程,与人类多种疾病密切相关,尤其在肿瘤的发生发展中发挥着重要作用。肝癌是威胁全球人类健康的最常见恶性肿瘤之一,其发病率及死亡率均位居前列。m6A RNA甲基化在肝癌中的作用近年来已成为研究热点。m6A RNA甲基化修饰受甲基转移酶、去甲基转移
微创手术(Minimally Invasive Surgery,MIS)因为其有着传统手术所无法具备的手术创面小、感染风险低、伤口愈合快等优势,而深受医生与病人的推崇。它的关键步骤是在病人腹部开一个小口,使手术器械能够通过这个小口进入病人的体内找到病患处,对病患处进行手术操作,操作完成之后包扎体内与体外的伤口。因为其避免了传统手术中开胸或开腹所造成的大面积创面,所以大大提升了病人的手术体验。由于微
研究目的:通过分析早发型子痫和晚发型子痫、产前子痫和产后子痫的一般资料、实验室检查、临床症状、头部影像学、新生儿结局,以期得出差异指导临床筛查、预防、治疗管理。研究方法:回顾性分析2008年1月至2020年10月在吉林大学第二医院产科住院的子痫患者的临床资料126例,根据抽搐时孕周分:<34周组为早发型子痫(59例)和≥34周为晚发型子痫(67例),分别用A组和B组表示;每组内再根据抽搐的时间分为
中华文明源远流长,中华文化日久弥新。作为中华传统文化的重要组成部分,鱼文化是在长期的历史发展中,人类赋予鱼以丰厚的文化蕴含,形成的一个独特的文化门类。鱼文化(Fish culture),包括鱼及鲤鱼、金鱼形状、图案、文字、捕鱼的类型、技术与方法、鱼的做法和食用以及衍生文化等。
期刊
背景:大面积脑梗死患者由于血管闭塞引起的缺血缺氧导致细胞死亡,脑组织坏死,临床预后不良。经颅多普勒(TCD)和定量脑电图(QEEG)可以评估患者脑血流及神经元电活动改变,本研究使用TCD-QEEG探索二者联合后是否可以评估大面积脑梗死患者的预后,以期建立更准确的预后预测模型。方法:本课题是一项前瞻性研究,收集了2018年7月至2019年3月神经内科重症监护病房里大面积脑梗死患者的临床数据并在发病9
本试验使用棉隆(T1)和鸡粪砻糠(T2)两种熏蒸方式,哈茨木霉(K1)、哈茨木霉+芽孢杆菌(K2)、芽孢杆菌(K3) 3种菌剂处理对桃树连作土壤进行改良,以不消毒(B)和不施菌剂(K4)为空白对照,筛选缓解桃树连作障碍的最优方案。结果显示,二年生苗的各项植株生长量显著高于半成苗。B组合中,K2的植株净生长量、干径净增量、株高和树体投影面积显著高于K4,并显著高于K1和K3;而T1和T2组合中K1最
近些年来,随着国家经济实力和科技水平急速发展,科技化、智能化产业越发得到社会各界广泛重视。其中有一个重中之重的方向就是汽车智能化,由于机器执行程序存在其确定性,所以汽车智能化产业的落地可以极大程度上解决司机人力问题以及人为原因造成的安全问题。但是汽车智能化产业距离完全落地还有很长的一段时间,汽车智能化的单车智能方向就存在极大的挑战。随着科学技术的进步和发展,智能化已经慢慢渗透到传统行业。采矿业历来
新修订的党章对党员提出了更高的标准和更严格的要求,因此,从根本上提高党员质量对于深化党建工作具有十分重要的意义。针对当前高等学校在学生党员发展中存在的问题及产生问题的原因,提出了"三位一体"高校党员发展新模式。在这一发展模式下,通过党支部、团支部和班委会三个基本学生实体组织协同工作,有效地从高校学生进行优秀团员入党推荐,到对入党前的考察和入党后的监督,最终达到提高学生党员质量的目的,充分发挥学生党