基于深度学习的检索式对话系统研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:hai_john
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能是一门研究如何赋予计算机类人智能的学科,涵盖图像处理、语音处理、自然语言处理等多项技术,其中自然语言处理架起了人类与机器之间语言沟通的桥梁。为了方便人类与机器进行自然且沉浸式的语言交互,科学家们致力于构建诸如 Apple Siri、Google Now、Microsoft Cortana 和 Amazon Alexa 等智能对话系统或社交聊天机器人,这也是人工智能领域长期关注的关键任务之一。构建对话系统的基本问题是如何实现计算机理解对话历史的语义,并预测出下一句合理且自然的回复。其中一条主流技术途径是从给定的回复候选集合中选择最合理的回复,采用该技术途径的对话系统被称为检索式对话系统。检索式对话系统又可以根据应用场景的不同,细分为个性化对话、融合背景知识对话以及多方对话等多个子任务。此外,随着深度学习技术的兴起,构建检索式对话系统的方法也由传统的基于规则和统计的方法向基于神经网络模型学习的方法过渡。然而,现阶段基于深度学习的检索式对话系统往往存在对特定应用场景考虑不足的问题,例如,难以有效地获取对话历史和回复候选之间的复杂语义匹配信息,没有对于对话者的一致性个性进行明确的长期记忆,缺乏对话相应的背景知识依托,难以建模多方对话中复杂的语句和对话者之间的交互等,这些都影响了最终回复选择的准确性。因此,本文围绕基于深度学习的检索式对话系统,在多轮对话、个性化对话、融合背景知识对话和多方对话等方面开展研究工作,具体包括:首先,研究了面向多轮对话的检索式对话系统。针对现有研究缺乏对对话历史与回复候选进行句级语义匹配的问题,提出了细粒度句级交互匹配回复选择模型,从对话历史中选择与回复候选最相关的信息,并对回复进行句级分解,将对话历史与回复候选中任意两个语句之间的句间距离先验信息融入到匹配过程;进一步提出了在预训练语言模型中融合说话人表征和领域自适应的回复选择模型预训练方法,实现了在预训练语言模型中体现说话人交替改变的这一对话属性,提升了预训练模型在对话领域的表征能力。以上研究在四个公开的多轮对话回复选择数据集上提升了回复选择的召回率,取得了当时的最优性能。其次,研究了基于对话者画像的个性化对话系统。针对现有研究只关注回复者自身画像而忽略对话搭档画像这一问题,基于是否考虑画像和语境之间,以及画像和回复之间的交互,提出了四种基于对话者画像的个性化回复选择画像融合策略,并应用于三种不同类型的模型,该研究在一个公开的基于对话者画像的对话回复选择数据集上验证了回复者自身和对话搭档画像对于个性化回复选择的影响。另一方面,针对缺少预先定义的对话者画像所引起的个性化对话系统冷启动问题,提出了基于早期对话文本搜索近似画像的对话者画像检测方法,构建了一个对话者画像检测数据集,并验证了在对话者画像没有预先给定时,通过细粒度匹配方法检索近似的对话者画像的有效性。再次,研究了融合背景知识的检索式对话系统。以直接建模背景知识和回复候选之间的语义匹配关系为目标,提出了双向交互匹配回复选择模型,同时进行对话历史和回复候选之间,以及背景知识和回复候选之间语义表征的交互匹配;针对对话历史和背景知识之间相互独立且存在冗余信息,同时单次交互也只能获取浅层匹配特征的问题,提出了基于背景知识过滤的迭代匹配回复选择模型,该模型预先建立对话历史和背景知识之间的交互感知机制,并对背景知识进行有效筛选,随后再通过迭代式交互匹配去获取对话历史和回复候选之间,以及背景知识和回复候选之间的深层匹配信息。以上研究在两个公开的融合背景知识的对话回复选择数据集上提升了回复选择的召回率,取得了当时的最优性能。最后,研究了面向多方对话的检索式对话系统。多方对话中含有丰富的对话者之间、语句之间,以及对话者与语句之间的交互关系,同时多方对话涉及的说话人识别、接收者预测,以及回复选择等任务间也存在天然的互补关系。因此,本文提出了基于多任务自监督学习的多方对话建模方法,围绕“谁对谁说了什么”这一多方对话中的核心问题,设计了多个自监督学习任务,实现了模型计算出语义更丰富的对话者表征和语句表征,加深了模型对多方对话的理解,增强了模型在多个下游任务的泛化性。以上研究在两个公开的多方对话数据集上提升了说话人识别、回复选择,以及接收者预测任务的准确率和召回率,取得了当时的最优性能。
其他文献
多金属氧酸盐(polyoxometalate,POM)是一类具有最高氧化态或混合价态的过渡金属无机分子簇合物,是通过氧原子桥连d0或d1金属离子而形成。近年来已在染料敏化太阳能电池(DSSC)、光催化以及光热治疗等领域表现出较好的应用前景。凭借可调的能带结构,显著的可见光吸收性能以及较强的接收电子能力,POM在DSSC的光阳极材料中作为传递电子的媒介或共敏剂受到广泛关注。参考了 DSSC中使用染料
学位
近年来,金属和有机小分子不对称联合催化逐渐发展起来,已经成为了合成结构多样的手性化合物的重要方法之一。金属和有机小分子联合催化体系可以充分发挥两类催化剂的优势,实现单一催化体系难以完成的反应。本篇论文对该领域的研究进展进行了详细的阐述,并围绕过渡金属和手性路易斯碱联合催化的不对称反应进行了研究。发展了可见光活化和手性异硫脲接力催化的α-重氮酮和氮杂二烯不对称串联环化反应,以优异的收率和立体选择性合
学位
深度思维指的是超越浅显认知的,能够觉察到事物深层逻辑的一种思维,包括直觉思维、批判思维、迁移思维、归纳思维等。基于深度思维开展初中物理实验教学,对于培养学生的识记、理解、应用、迁移等综合素养有着积极意义。文章基于初中物理实验教学具体案例,论述了基于深度思维开展教学的有效策略,指出教师可以通过确定目标、活用教法、组织活动、组织练习等方式引导学生在初中物理实验学习中发展深度思维,希望为一线教师提供教学
期刊
随着社会经济的发展,工业化、城市化进程的加快,能源需求量与日俱增,与之俱来的是化石能源造成的环境污染问题,其不可避免且迫切需要解决。因此,对清洁和可再生能源的研究探索成为全球科研工作者工作的焦点。然而,由于可再生能源供应不稳定,限制了其大规模应用。基于此,开发一种有利于实现稳定利用可再生能源的储存系统是非常必要的。近年来的研究表明,具有特殊物理化学性质的功能材料在利用可再生能源方面拥有巨大的开发和
学位
煤炭与人们的生活息息相关,近年来煤炭消费占比急剧上升。煤矿在建设和生产过程中矿井通风系统是不可或缺的一个环节,该通风系统产生的矿井回风一年四季不间断且风量巨大,部分矿井的回风温度维持在15℃以上。近年来国家积极鼓励终端用能多能互补和综合梯级利用,如何利用矿井回风热量一直是从事煤炭能源环保领域相关学者致力于研究的热点,其中喷淋换热热回收-热泵供热技术是矿井回风余热利用的主要方式之一。针对该换热方式开
学位
托卡马克等离子体高参数运行需要优化控制等离子体电流密度剖面、电子密度剖面及温度剖面等。这些参数均有相应诊断可以给出分布,如电流密度可用电磁测量、运动斯塔克效应等;电子密度可用偏振干涉仪、汤姆逊散射等。部分积分诊断还需要结合磁面测量才可以获得精确的剖面分布。相较于基于复杂物理模型的传统等离子体剖面重建算法而言,贝叶斯推断的等离子体剖面重建以概率统计的方式决定待求剖面的条件概率,给出基于拟合诊断测量数
学位
氨基醇类化合物广泛存在于天然产物以及药物分子中,是一类非常具有合成价值的化合物。对于氨基醇类化合物的合成,最简单有效的方法之一是环氧醇或氮杂环丙烷醇的亲核开环反应。此类反应具有反应条件温和,操作简单,原料及催化剂廉价且简单易得等优点,对于有机合成具有重要意义。本文分为三个部分来介绍路易斯酸催化的环氧醇和氮杂环丙烷醇的开环反应。第一部分:硼酸催化3,4-环氧醇的区域选择性胺解反应在本部分工作中,我们
学位
现代社会信息产业蓬勃发展,人们对于计算资源、计算能力的需求永无止境,但随着芯片加工尺寸接近原子量级,量子效应显现,晶体管电路逐渐接近性能极限,基于半导体产业的经典计算机计算瓶颈愈发显现,人们迫切需要探索新的计算方式。量子计算是一种利用量子力学原理调控信息单元从而完成计算任务的新型计算模式,其借助量子体系中的态叠加和纠缠特性可以实现并行计算,在特定的计算问题上,能够突破经典信息系统的计算极限,产生指
学位
随着互联网的飞速发展,视频数据量呈指数级增长,给存储和传输造成巨大压力,因此迫切需要对视频进行更高效的压缩。视频数据中主要为时间冗余,帧间预测是去除时间冗余的核心工具。因此,如何高效地进行帧间预测是提升视频编码效率的关键。经过四十多年的发展,帧间预测技术取得显著进步,但随着研究的深入,传统帧间预测的发展也逐渐遇到性能瓶颈,这主要有两方面原因:第一,传统帧间预测模块是手工设计和优化的,预测能力有限;
学位
金刚石中的氮-空位色心(Nitrogen-vacancy Center,NV)在室温大气下有优异的相干性质,可通过激光实现量子态的初始化和读出,是量子计算和量子精密测量中非常优良的量子体系之一。作为一种量子磁传感器,NV色心具有极高的灵敏度和空间分辨率,迄今已实现了单个电子自旋和核自旋的纳米磁共振探测。在过去的十年里,基于NV色心磁测量的应用研究已经扩展到生物、医药、凝聚态等多个领域。当前对NV色
学位