【摘 要】
:
深度学习技术的发展和广泛应用,极大地推动了自然语言处理领域的发展。人机对话系统作为自然语言处理领域的一大应用,是当今学术界和工业界研究的热点,随着智能语音助手、导航机器人等应用的发展,人机对话也将成为下一代人机交互的主要方式。本论文以生成式对话模型为研究对象,对多轮对话系统中的关键技术进行研究与应用。近年来的研究发现,多轮对话系统缺乏对历史上下文中的语义信息的掌控,导致通用回复、质量较差等问题。本
论文部分内容阅读
深度学习技术的发展和广泛应用,极大地推动了自然语言处理领域的发展。人机对话系统作为自然语言处理领域的一大应用,是当今学术界和工业界研究的热点,随着智能语音助手、导航机器人等应用的发展,人机对话也将成为下一代人机交互的主要方式。本论文以生成式对话模型为研究对象,对多轮对话系统中的关键技术进行研究与应用。近年来的研究发现,多轮对话系统缺乏对历史上下文中的语义信息的掌控,导致通用回复、质量较差等问题。本论文通过引入自注意力机制和外部知识,有效筛选了历史上下文的信息,提高了模型回复的生成质量。本文具体研究内容如下:(1)提出了基于上下文信息筛选的生成式对话模型。针对常见模型对历史上下文信息不加使用或者不加区分的问题,通过引入自注意力机制的上下文信息筛选器,对历史会话进行词级、句子级信息筛选,分别分配不同的权重,从两个粒度把握历史上下文中的有益信息,增强有益信息对模型生成过程的影响,从而达到改善模型生成质量的目的。最后通过对比实验证实模型生成的回复与历史会话相关度更高,改善了回复生成质量。(2)提出了融入外部知识的两步解码生成式对话模型,在基于上下文信息筛选的生成式对话模型基础上,为了进一步改善回复生成的质量,对模型进行了改进。主要分为两个方面:第一是通过历史上下文的注意力表示对知识库进行相应知识选取,得到与历史会话相关的知识信息;第二是通过两步解码器将选取的知识融入回复生成中。最后通过对比实验证实模型有效地融入了知识信息,且两步解码的融合效果好于事先融合信息的一次解码过程,从而进一步提高了质量。(3)基于上述工作提出的生成式对话模型,设计实现了面向用户日常聊天的智能对话系统。并且通过测试表明,模型在生成回复的准确性、丰富性上均有一定的实际效果,为下一步研究奠定了基础。
其他文献
目的观察在慢性肺心病患者急性加重期时采用ICU针对性护理的应用效果。方法将2019年2月至2020年8月抽取本院ICU收治的慢性肺心病急性加重期患者80例,采用随机分为两组各40例。对照组患者给予ICU常规护理,观察组患者给予ICU针对性护理,比较两组患者的病情缓解时间、ICU住院时间、总住院时间、护理满意度、治疗总有效率。结果观察组患者病情缓解时间、ICU住院时间、总住院时间明显短于对照组(P
目的 探讨尿毒症维持性血液透析(MHD)患者的主要死亡原因及死亡发生的相关危险因素,为改善患者预后提供依据。方法 回顾性分析2016年6月至2021年6月在凤阳县人民医院进行MHD的132例尿毒症患者的临床资料,将39例死亡患者纳入死亡组,93例同期存活患者纳入在透组。统计MHD患者的死亡情况及死亡原因,收集两组患者的一般资料并进行单因素分析,采用多因素Logistic回归分析模型分析MHD患者死
在“三全育人”大背景下,结合“大学计算机基础”课程特点,采用线上线下混合式教学模式,优化教学设计,挖掘思政元素,构建“大学计算机基础”多元化思政体系。实践表明,该思政体系实现了从线下到线上,从课内到课外,从显性教育到隐性教育的协同育人,引导学生树立正确的人生观,实现知识传授与价值引领的有机统一。
Boltzmann方程是非平衡统计力学中重要的方程之一,描述了非平衡态分布函数f (x,v,t)的演化。本文讨论了空间非均匀情形Boltzmann方程在碰撞核满足弱角截断条件的反转指数势能条件时反向解的初边值问题,指出当初值f0(x,v)具有空间衰减性质时,Boltzmann方程反向温和解整体存在。并给出了反向解长时间行为f-∞(x,v)=limt→∞f (x,v,t)的稳定性估计。本文的创新点主
近几十年来,人类航天事业的高速发展对航天器内部集成电路的抗辐照性能提出了越来越高的要求。反熔丝PROM(Programmable Read Only Memory)因其具有非易失、高可靠、抗辐照的特性,被大量应用在辐射环境中用于保存关键数据。我国对反熔丝PROM的研究起步较晚,其生产制造技术以及配套的编程技术都落后于先进国家,而且由于技术封锁,反熔丝PROM相关技术亟待实现突破。本文基于课题组自主
随着深度学习的快速发展,人工神经网络已经在日常生活和生产工作中的各个方面得到了广泛的应用。相比于生物神经元模型,基于传统计算机架构的人工神经网络需要耗费更多的硬件资源。其中的一个原因是受到了传统计算机冯诺依曼架构的限制。对此研究人员提出了存算一体(computing-in-memory)的概念,在存储器内直接完成部分计算操作。目前存算一体电路的设计通常由手工搭建,这是一个既费时又繁琐的工作。存算一
中国地域辽阔,不同地域都有自己独特的音乐文化。传统汉族民歌作为各地域文化的构成部分,呈现出地域性特点。本研究以黑龙江传统汉族民歌为研究对象,通过对其艺术特色、音乐风格及唱腔特点的分析,阐明其所内涵的地域性特点。并以此为基础,分析了如何才能更好地在高校声乐课堂中教授黑龙江传统汉族民歌,促进黑龙江传统汉族民歌在当代的传承与发展。全文分为五个部分:第一部分为绪论,分析了本研究的国内外研究现状,研究意义、
研究时滞微分方程,无论对理论还是对实际应用都具有非常重要的意义。开展这方面的研究,在丰富和发展时滞泛函微分方程理论的同时,也为一些问题的实际应用提供必要的理论基础。本文研究了时滞微分方程周期解的存在性及多解性,主要内容包括:(1)用哈密尔顿系统研究如下二阶时滞微分方程组周期解的存在性及多解性:其中τ>0是时滞,而且我们假设f,g∈C1(R4, R)满足渐进线性条件。(2)用变分法研究如下二阶时滞微
在十九世纪末期,浪漫主义艺术呈现衰退趋势,形式刻板,格式化的现象日益呈现,这种艺术形态已经不能满足人们对艺术的追求与审美。于是,印象主义应运而生,其新颖的创作风格与表现形式为现代艺术的产生起到了推动性作用。德彪西的音乐为印象主义的代表。他以不同的主题溶入自己的的音乐而闻名,如图画、自然风光、诗歌和其他的文化元素都是他音乐作品引用的材料。本文将以德彪西引用的三种不同的文化为例,阐述印象主义多元文化影
我们对WMAP天图同时进行了小波滤波以及自相关检验以探测天图中的过冷区域,两种不同方法相互补充,各具有对方没有的优点,形成了一个互补的工具对。而尽管内在机理不同,他们得到的非高斯位置以及形状却非常类似。我们同时对这些结果进行了检测,证明他们确实是wmap天图中非高斯性的重要来源。相关的检验同时说明了两种不同方法的健壮性。由于我们同时用了两种不同的方法却得到了相类似的结果,也由于自相关方法的特点,我