论文部分内容阅读
问题生成任务旨在为文本生成相应的自然语言问句。传统方法主要通过复杂的人工规则将陈述句转化为自然问句,以此方法生成的问句往往表述简单,普适性较低。目前,深度学习法方法已经被应用于问题自动生成任务,其中,以端到端的架构为主。深度学习方法直接将陈述句作为模型的输入,忽略了密令的相关信息。其中,密令是句子中的连续短语片段,生成问句所需要关注的“潜在提问对象”,又称为答案源。从而,其往往使得模型的性能受限于固有的问题提问方式,无法适应原句(答案源)的自身特点。因此,本文利用特征和注意力机制加强关注陈述句中的密令进行问题生成研究,主要内容包含以下三个方面:(1)基于密令位里信息的问题生成现有的问题生成方法以端到端的序列化生成模型为基本框架,该方法由于对句子中密令的关注度不足,使得模型无法适应原句(答案源)的语言特性。针对此弊端,本文提出一种基于密令位置信息的点对点的问题生成模型。该模型将密令位置信息与全句语义信息进行融合。本方法的目标是通过添加密令位置信息辅助原有模型自动关注密令。实验结果显示,相比于基准系统,本方法在SQuAD数据上BLEU-4指标提高1.98个百分点。(2)基于疑问词识别的问题生成方法端到端的深度学习模型在生成问句过程中,包含疑问词的预测,生成模型所生成的疑问词准确度仍然偏低。分类模型能够高精度地确定目标类型,自此更加胜任疑问词预测的任务。于是,本文提出一种基于疑问词识别的问题生成研究方法,该方法首先利用基于卷积神经网络的分类模型为密令指定唯-的疑问词,接着将预测的疑问词融入到句子得到新句并产生问句,以此来降低生成模型的疑问词预测损失。相比于基准系统,本文所提方法在SQuAD数据上BLEU-4值提升1.66%。(3)基于双向注意力机制的问题生成网络基于密令位置信息和基于疑问词识别的问题生成能够关注密令信息,进而可以提升问题生成性能。但是,两种方式中密令并未与句子信息交互,使得句子与密令的深层语义获取受限。针对此问题,本文提出一种基于双向注意力机制的问题生成模型。通过双向注意力机制获取密令与句子的深层语义表示,在此基础上,解码器利用深层语义表示生成问句。本文所提方法能有效获取密令和句子的联合表示,在SQuAD数据集和MS MARCO数据集上的实验性能均超过基准系统。针对端到端模型中固有问题的提问方式,本文通过引入密令位置信息和密令的疑问词识别两种方式解决无法适应原句的语言特性,两类方法都取得了一定的效果。为了充分利用密令的信息,本文还提出一种基于双向注意力机制的问题生成方法,该方法利用注意力机制获取密令作用原句的深度语义表示,该方法在问题生成的多个语料集上都取得较优性能,证明该方法能够有效获取密令与句子的深层语义表示。