融入特征和注意力机制的问题生成方法研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:hao8035
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
问题生成任务旨在为文本生成相应的自然语言问句。传统方法主要通过复杂的人工规则将陈述句转化为自然问句,以此方法生成的问句往往表述简单,普适性较低。目前,深度学习法方法已经被应用于问题自动生成任务,其中,以端到端的架构为主。深度学习方法直接将陈述句作为模型的输入,忽略了密令的相关信息。其中,密令是句子中的连续短语片段,生成问句所需要关注的“潜在提问对象”,又称为答案源。从而,其往往使得模型的性能受限于固有的问题提问方式,无法适应原句(答案源)的自身特点。因此,本文利用特征和注意力机制加强关注陈述句中的密令进行问题生成研究,主要内容包含以下三个方面:(1)基于密令位里信息的问题生成现有的问题生成方法以端到端的序列化生成模型为基本框架,该方法由于对句子中密令的关注度不足,使得模型无法适应原句(答案源)的语言特性。针对此弊端,本文提出一种基于密令位置信息的点对点的问题生成模型。该模型将密令位置信息与全句语义信息进行融合。本方法的目标是通过添加密令位置信息辅助原有模型自动关注密令。实验结果显示,相比于基准系统,本方法在SQuAD数据上BLEU-4指标提高1.98个百分点。(2)基于疑问词识别的问题生成方法端到端的深度学习模型在生成问句过程中,包含疑问词的预测,生成模型所生成的疑问词准确度仍然偏低。分类模型能够高精度地确定目标类型,自此更加胜任疑问词预测的任务。于是,本文提出一种基于疑问词识别的问题生成研究方法,该方法首先利用基于卷积神经网络的分类模型为密令指定唯-的疑问词,接着将预测的疑问词融入到句子得到新句并产生问句,以此来降低生成模型的疑问词预测损失。相比于基准系统,本文所提方法在SQuAD数据上BLEU-4值提升1.66%。(3)基于双向注意力机制的问题生成网络基于密令位置信息和基于疑问词识别的问题生成能够关注密令信息,进而可以提升问题生成性能。但是,两种方式中密令并未与句子信息交互,使得句子与密令的深层语义获取受限。针对此问题,本文提出一种基于双向注意力机制的问题生成模型。通过双向注意力机制获取密令与句子的深层语义表示,在此基础上,解码器利用深层语义表示生成问句。本文所提方法能有效获取密令和句子的联合表示,在SQuAD数据集和MS MARCO数据集上的实验性能均超过基准系统。针对端到端模型中固有问题的提问方式,本文通过引入密令位置信息和密令的疑问词识别两种方式解决无法适应原句的语言特性,两类方法都取得了一定的效果。为了充分利用密令的信息,本文还提出一种基于双向注意力机制的问题生成方法,该方法利用注意力机制获取密令作用原句的深度语义表示,该方法在问题生成的多个语料集上都取得较优性能,证明该方法能够有效获取密令与句子的深层语义表示。
其他文献
广播作为一种信息传递的途径,是党和人民的喉舌,不仅要宣传党的路线方针,也要反映百姓的生活,在信息传播中的重要性不言而喻。广播监播是广播安全播出的保障,而对发射信号的参数测量是广播监播任务中的重要组成部分,依据广播工作要求,发射台所发射广播信号的质量需要实时监测,从而为广播信号的安全传输提供技术保障。信号强度、频率偏差和调幅度是反映调幅广播信号质量的重要参数,在广播监播中需要对其重点监测。本文研究了
在扬子地台西南缘、地理位从四川的康定、石棉,过冕宁、德昌、米易,直到云南元谋一带,发育大量的中上元古界岩体,基性、中基性、酸性岩体均有分布。依据其出露的地理位置可分
商业银行在社会主义市场经济中发挥着非常重要的杠杆作用,商业银行具有信用中介职能、支付中介职能、信用创造职能、融资服务职能、调节经济职能。除此之外,商业银行直接参与
金鱼草是一种在研究植物叶序方面十分特殊的植物,其同一植株上有着不同的叶序形态,基部叶序以对生状态为主,中上部叶序主要为螺旋状互生。叶原基起源于植物顶端分生组织(SAM),因其在茎尖上的发生位置不同,从而决定了叶在茎上的排列(叶序)。MADS-box基因家族是一类十分重要的转录调控因子,对植物顶端分生组织(SAM)具有重要的影响。本研究以金鱼草品种“泛美夏粉”为试验材料,通过采用单酶切以及同源重组的
随着互联网技术的发展和应用,传统的文化创意行业通过数字载体创造了新的产品和业态,游戏行业开始得到投资者的关注。随着国内资本市场的发展,兼并收购成为企业发展过程中的
陶瓷膜因其具有的优良性能而广泛应用于化工、食品、药品及环保领域。目前,商品化的陶瓷膜通常为多层不对称结构:即在多孔支撑体上制备过渡层和具有分离功能的顶层,其中,多孔
绿藻裂片石莼含有丰富的营养物质及矿物元素,其中所含多糖具有广泛的生物活性。本文系统性的研究了裂片石莼多糖的提取、多糖分子的脱硫修饰、脱硫前后多糖的抗氧化抗肿瘤活
自然资源作为社会稳定和经济发展的基础,关乎着国家安全以及人民生存环境的方方面面。过去很长一段时间,许多地方采取牺牲自然资源换取区域GDP的快速增长,这也直接导致了自然
“十三五”期间,随着国民经济的飞速发展以及经济国际化步伐的提升,我国的安防产业成为国民经济中的新兴产业,始终保持着高速稳定的发展态势,整个安防市场将趋于高速增长状态
综合调度问题是考虑工序间存在约束关系的产品调度问题,它将装配理解为在产品制造过程中的一种特殊工序,并将产品的加工与装配一同进行调度。综合调度由此解决了传统调度问题