论文部分内容阅读
机器阅读理解是指让计算机像人类一样阅读文本,提炼文本信息并回答相关问题。随着深度学习技术的快速发展,基于深度神经网络的阅读理解模型已成为目前的研究热点。然而大部分现有的机器阅读理解模型具有以下几点缺陷:(1)传统预训练的词向量技术无法解决一词多义的现象;(2)采用双向LSTM进行编码,这种编码方式虽然对于短距离的文本具有不错的建模效果,但是无法有效处理长距离的依赖关系,并且由于结构复杂导致计算速度缓慢;(3)问题与文章的语义信息没有足够的交互融合,使模型无法很好地从文章自身中找到对回答问题有帮助的部分;(4)完全依靠模型预测的答案区间来决定问题的答案,这种预测答案的方式过于单一。为了克服这些缺陷,本文构建了两种机器阅读理解模型BiGSANet和RoBTANet,并在DuReader数据集上分别进行了对比实验。本文的主要研究工作如下:第一,构建了 BiGSANet模型。首先使用双向GRU对文本进行编码,然后利用双向注意力模型进行语义交互,之后加入语义融合层使模型更好的融合问题和文章的语义信息后输出答案区间,最后综合各方面因素考察每一个候选答案质量并选择最佳答案。此外,在模型中增加了一项辅助任务专门辅助模型的训练。第二,构建了 RoBTANet模型。首先使用RoBERTa对文本编码,然后在语义交互层中使用多头注意力机制来让问题和正文的信息进行交互,接着再经过一个Transformer编码块使问题和正文的语义信息进行充分融合之后输出可能的答案区间,最后再将充分融合后的编码矩阵输入到辅助任务中。此外,在答案选择算法中加入了答案的二次验证模块,帮助模型选择质量更好的答案。第三,为了验证上面两种模型的有效性,本文在大规模阅读理解测试集DuReader上进行了对比实验。实验结果表明:使用基于RoBERTa编码的模型在编码效果和运算速度方面都大大优于基于双向GRU编码的模型;RoBTANet模型在Rouge-L和BLEU-4两项指标上分别达到了 59.35和56.22,优于大部分已有的机器阅读理解模型。