语法信息增强的神经网络对话模型的研究

来源 :武汉大学 | 被引量 : 3次 | 上传用户:kouton
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对话回复的自动生成任务是自然语言处理领域的一个十分关键与困难的任务。它是自然语言生成任务中的一个方面,包含了对自然语言的理解、推理,以及对各种外部知识的应用。近些年来,能够生成像人类一样对话的回复语句的对话机器人越来越受到人们关注。给定一条对话的句子,生成一条这个句子的合适的回复,这就是回复生成任务。随着深度学习的发展,科研工作者利用Sequence to Sequence(Seq2Seq)框架构建的神经网络对话模型在对话回复自动生成任务上取得了极大的进展。我们知道,对句子的语法信息进行建模对神经网络对话模型生成更高语言质量、更加合适的回复是十分必要的。然而,现有的利用Seq2Seq框架的神经网络对话模型并没有将句子的语法信息考虑在内。在本文的研究中,将探索将语法信息加入到Seq2Seq神经网络对话模型之中,实现了语法信息增强的神经网络对话模型。本文首先尝试将序列语法信息融入Seq2Seq神经网络对话模型之中,提出了两个词性增强的神经网络对话模型POSEM-Ⅰ以及POSEM-Ⅱ。将序列语法信息表达为词性序列,同时在生成回复的过程中,依据生成的词性限制词汇的生成。本文随后探索了将带结构的语法信息融入基于注意力机制的Seq2Seq神经网络对话模型之中,提出了两个基于依存句法关系的神经网络对话模型RANM以及RAANM。通过依存分析树根节点对应的关键词扩展生成回复并且融入双重的注意力机制。最后,本文综合前两种方法,同时将序列语法信息与带结构的语法信息与基于注意力机制的Seq2Seq神经网络对话模型相结合,构建了语法信息增强的神经网络对话模型。实验表明,本文所提出的模型在Perplexity、BLEU值以及人工评测上都取得了相对已有的神经网络对话模型较好的效果,能够生成出语言质量更高、与待回复语句一致性更强、更加合适的回复。
其他文献
香蕉炭疽病是由香蕉炭疽菌Colletotrichum musae侵染引起的,是香蕉采后贮藏、运输和销售过程中发生的主要病害之一,严重影响中国香蕉的北运和出口。目前主要的防治措施是使用化学杀菌剂,利用生防菌防治香蕉炭疽病是一种可行的措施。本研究从土壤中分离到2株放线菌CY-14和S-50,发现其对香蕉炭疽菌具有较强的拮抗作用,皿内抑菌率分别为51.4%和67.4%,通过形态特征、生理生化特性和16S
近年来,由于发行债券、私募等融资渠道受到限制较多,一种规范的融资担保方式步入大众视线即股权质押。股权质押是将股权进行质押而产生的债务融资行为。银行、证券公司等金融机构会以股东所持有的股票作为企业融资的质押品,这样企业会获得满足自身需要的资金,同时需要在特定的时间内还清贷款,以解除质押。然而股权质押融资虽减少了企业的融资约束,缓解了融资难题,但也会带来风险。过高的股权质押比率会在资本市场上引发爆仓危
互联网通过虚拟技术使人们实现了一种独特的在线生存的基本样态,开拓了人类陆地、海洋、天空、外层空间之外的“第五活动空间”。当下我国网络社会治理遵循的“亚社会”治理逻辑、绝对主权化逻辑、垂直化管制逻辑给网络社会治理的法治化带来一系列的问题,主要体现为立法上理念迷失、制度缺位;执法上权责不清、执行不力;司法层面的纠纷升级,解决受制;守法层面,网络空间中的自我赋权行为、网络维权行为和霸权行为都加大了网络社
冷弯薄壁型钢住宅房屋体系在我国的应用逐步增多,体系中的主要承力构件组合墙体和楼盖梁均是空间承力体系,当前国内外研究主要集中于单层组合墙体或组合楼盖等单独体系,对双
1794年美国与英国签署的《杰伊条约》作为美国早期史的重要条约之一,对这一时期美国的政治、经济、外交都有重大的影响。特别是对美国早期的政党斗争史意义深远。面对英国的
在沥青路面施工过程中,沥青混合料施工温度是影响施工质量和路用性能的重要因素。因此,选择合理的沥青混合料施工温度确定方法显得尤为重要。泡沫沥青混合料作为新型的粘结材料,目前缺乏对其施工温度确定方法的研究。本论文分析了利用搅拌试验机的搅拌功率确定泡沫沥青施工温度方法,并对搅拌试验机及其工作参数进行了研究。通过分析利用基质沥青粘温曲线确定基质混合料施工温度方法,指出了利用该方法来确定泡沫沥青混合料施工温
中国的高铁一直在提速,从一百多迈到现在的三百多迈,同时未来可能会达到六百多迈。如此惊人的速度给广大旅客更好的出行体验。日行千里,朝发夕至不再是梦。但是这么快的移动
随着社会的飞速发展,人们越来越重视节能环保,磁制冷这一高效,节能,无污染,运行可靠的技术,越来越被各国科学家重视。而实现磁制冷关键是磁制冷工质,NaZn13型立方结构La(Fex
Zn-Al-Mg合金镀层以其优良的耐蚀性,切边保护性能成为防腐镀层研究热点。但传统溶剂法热浸镀Zn-Al-Mg合金存在施镀困难,镀层质量差且污染环境等问题,因此研究还原法热浸镀Zn-Al-Mg合金工艺及机理具有重要理论指导意义和实际应用价值。本文通过正交试验对还原法热浸镀Zn-6Al-3Mg合金工艺进行了优化,研究了热轧钢板表面状态、还原气氛中H_2含量、还原时间、镀前钢板温度、锌液温度、浸镀时间
PGrid(Parallel Grid,并行格网)是一种基于空间划分并被广泛应用到基于位置的服务(Location-Based Service,LBS)的主存索引结构。随着对象数量的增加,与位置相关的更新负荷和