基于BERT和知识蒸馏的自然语言理解研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:shunniu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习在自然语言处理领域的发展与应用,人们享受到了越来越多样化的智能语言类服务,尤其是基于对话系统的各类终端智能助手已经开始改变人们与机器的交互方式。也有越来越多的人希望用这种方式来辅助人们完成任务与工作。然而,目前市面上推出的智能助手都是由其开发者预先定义并训练的,用户无法将其直接迁移到需求的专业领域。针对这样的行业痛点,一个通用性的对话系统构建平台将发挥作用,用户能够利用此平台创造满足其业务需求的专属对话系统,而不需要掌握任何底层的基础知识和实现原理。面对当下仍未得到有效控制的新冠肺炎疫情,基于本平台的公共健康服务对话系统可以为隔离在家的用户提供便捷的健康服务,同时收集公众的健康信息,帮助政府控制疫情传播。自然语言理解是对话系统中一个重要部分,由意图识别和命名实体识别两个子任务构成,分别对用户输入中的意图和实体信息进行抽取和识别,为系统提供理解人类语言的能力。其识别的准确度和速度对用户使用系统的体验都非常重要。预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)使用大量无监督数据进行训练,在多项自然语言处理任务取得了突破。在自然语言理解研究中,基于BERT的联合模型Joint BERT具有非常好的效果。但是基于BERT的模型往往将消耗大量的计算资源,难以在对话系统这种实时性的任务中高效地工作。针对上述需求与问题,本文以深度学习相关方法设计并完成了自然语言理解模块与其在平台中的接口,并将其应用于公共健康服务对话系统的业务场景中。首先,本文实现了Joint BERT模型作为初始模型,并提出使用一种针对BERT的知识蒸馏方法Tiny BERT,对Joint BERT进行联合蒸馏,将蒸馏后得到的轻量级模型作为自然语言理解模块的最终模型。当用户样本量较少时,本文还引入了基于词替换的数据增强方法对蒸馏效果进行提升。然后,本文对公共健康服务对话系统进行了系统分析,并根据需求场景设计了意图标签和实体标签。最后,本文分别在开放领域的公共数据集和针对新冠肺炎的医疗领域数据集进行了实验。实验结果表明,本文提出的自然语言模块作为平台中的通用模块和公共健康服务对话系统中的专用模块,都能取得准确的预测效果并拥有高效的性能。
其他文献
阳明心学是中国优秀传统文化的有机组成部分,也是建立文化自信的根与魂之一。研究其空间扩散及时空演变可以反映地方与阳明心学对话的历史地理过程,丰富文化地理的研究内容,并对新时代文化的建设与传播有一定的启示作用。目前关于阳明心学的研究集中在哲学思想及历史文化分析等方面,少数涉及阳明心学的扩散研究以特定地域为研究范围,缺少整体性的全国视角及地理学视角,而通过整体性的时空演变分析有助于厘清阳明心学扩散的机制
内部控制是财务会计类的专有名词,而内部控制系统是环境控制,政策和程序控制的有机结合。本项目则是内部控系统数字化和信息化的表现形式。而现有的单位的内部控制系统存在着很多问题。第一是人为因素过多,导致内部流程不标准,部分流程能够变通,使得内部控制流程不合理。第二缺乏统一的电子化平台。单位内部往往针对不同的需要部署了多个相互独立的系统。这些系统之间的数据难以互通,相关联的数据需要重复输入降低了工作效率增
城市地下空间的开发利用是当前城市建设的重要组成部分,而城市三维地质建模更是评价地下空间开发利用难度的基础之一。目前,城市三维地质建模往往是对单一表达的三维模型进行构建,如地质结构、地质属性、地上构筑物等三维模型单独构建。现有城市一体化集成,如地上地下或室内室外三维模型一体化集成,主要都是将不同空间位置的三维模型进行融合集成,而对于相同空间位置下不同表达模型的集成研究较少,特别是在三维地质结构模型和
因为立法者对以危险方法危害公共安全罪实行行为纯规范的价值叙述,使得本罪在适用时经常与刑法中的其他犯罪发生混淆,这也引发了学界对本罪在理论和司法适用中的诸多争议,具
人工电磁材料是由周期排列的亚波长微小结构组成的人工介质,其电磁参数能够通过对结构和排布方式的调整进行任意设计,从而展现出自然材料所不具备的奇异物理性质。因此,人工电磁材料自提出以来便成为了电磁场与微波技术领域的研究热点。随着电磁器件逐渐趋向轻量化、小型化、共形化的方向发展,二维形式的人工电磁材料——超表面应运而生。超表面能够实现对电磁波的高效调控,且具有重量轻、厚度薄等优势,极大地拓宽了人工电磁材
伴随着工业信息化、智能化时代的持续推进,工业机器人技术的发展越来越成为了我国工业技术持续发展的重要助推力。在实际工业生产作业中,对于机器人工作效率方面的内容不断被提及,不再是简单追求其准确平稳地实现指定作业任务,同时也要求其作业时间能够尽可能地缩短。由此,可以发现工业机器人轨迹规划中有关时间最优方面的研究工作,对于实际工程应用和轨迹规划技术的进一步发展,都具有举足轻重、不可或缺的研究价值和意义。因
复杂装备如航空发动机机匣表面的管路系统(Pipe-Clamp System,简称PCS)主要由管路与卡箍组合而成,对管路和卡箍进行合理的智能布局优化,对于提高产品的稳定性和设计效率具有重要影响。PCS的主要布局目标是在考虑某些优化目标和工程约束的同时,在一定约束空间内适当地进行管路敷设并布置卡箍。特别是,由于复杂装配的约束和优化要求,管路敷设通常与卡箍布置之间存在耦合关系,这通常会导致在管路敷设和
目的本研究对酒依赖患者及健康饮酒者分别进行认知活动过程中大脑前额叶区域氧合血红蛋白(Oxygenated Hemoglobin,Oxy-Hb)、脱氧血红蛋白(Deoxygenated Hemoglobin,Deoxy-Hb)的相对浓度水平进行比较,从而发现酒依赖患者认知活动中前额叶血氧水平变化的改变,同时分别对两组进行认知功能评定,以研究酒依赖患者认知功能与大脑前额叶区域Oxy-Hb、Deoxy-
日本是世界上有名的灾害大国,灾害种类繁多且发生频次高,在与灾害的共生共存中,日本人形成了独特的灾难观。一般认为,日本传统的灾难观主要分为天谴论、宿命论、精神论三个类型,牢牢扎根于日本人的心中。然而,随着十九世纪90年代以阪神?淡路大地震和东日本大地震为代表的巨大灾害的发生,“人祸论”开始不断被提及,与此同时,经济的发展和社会的进步带来地球物理学和气象知识等科学知识的不断普及,越来越多的日本人拥有了
针对海量用户数据的综合分析是许多商业应用的核心价值所在。随着整个社会对隐私保护认知和关注程度的不断提升,在提供隐私保护能力的前提下对用户的整体数据进行收集和统计分析,这一需求变得日益重要与迫切。本地化差分隐私是目前解决此类问题的最重要技术框架之一,该技术使得用户有能力对自己提交的原始输入进行合理的扰动,从而获得合理的可否认性,以保护自身隐私,同时不需要可信第三方的参与。目前,包括谷歌、苹果、微软在