论文部分内容阅读
近年来,随着人工智能的发展,自然语言处理下的机器阅读理解任务已经成为人们研究的热点问题。中文数据集的大量涌现,掀起了中文机器阅读理解任务的研究高潮。机器阅读理解任务研究的核心内容就是文本内容推理,而现在大部分研究工作都是基于单层网络模型结构,其特点是首先利用双向LSTM或者双向GRU来得到文档词语词向量表示和查询词语词向量表示,然后使用获得的词向量表示来进行文档和问题信息的交互,最后使用注意力机制来预测正确答案。这种模型结构效果虽然比较显著,但是由于单层网络模型会导致文本内容推理不够深入,一定程度上会造成文本词语部分信息缺失,这对机器做完形填空任务的效果会产生一定的影响。针对上述情况,本文在研究了基于深度学习的机器阅读理解模型后,提出了一种新的基于多跳注意力的中文机器阅读理解模型。在相关研究工作中,深度学习模式在文本内容推理上效果是显著优于传统的学习模式,目前研究的比较深入的深度学习技术主要有两种:第一种是多跳架构(Multi-hop Architectures,MA)技术,这种技术允许模型对文档和问题进行多次迭代计算,达到文本内容深度推理的目的,且现今多跳推理技术的有效性在相关任务模型中得到了一定的验证;第二种是注意力机制(Attention Mechanisms,AM)技术的运用,这种机制允许模型关注文档中与问题相关的部分,根据文档中不同部分与查询的相关性重新加权。基于此技术,本文采用多层网络模型来处理中文机器阅读理解的完形填空任务,并将多跳架构与常用的注意力机制进行融合,设计了基于多跳注意力的中文机器阅读理解模型。该模型通过多跳架构的设计较好的将查询信息融合在文章单词语义信息里,实现文章语义的推理,且在最后的答案预测阶段,模型将更新后文档词语词向量与查询词语词向量进行点积计算,获得的结果形成一个二维矩阵并对矩阵进行操作进行更好的筛选最终正确答案,从而更好的完成机器阅读理解任务。本文使用中文填空式机器阅读理解数据集PD&CFT(People Daily、Children’s Fairy Tale Datasets)进行了实验。该数据集是由哈尔滨工业大学讯飞联合实验室首次提出。本文使用的模型结构在PD数据集中验证集和测试集上的答案预测准确率分别为65.8%、68.5%,在CFT数据集中分别为43.2%、35.2%。通过相关对比实验表明,使用本文提出的基于多跳注意力的中文机器阅读理解模型来做机器阅读理解完形填空任务时答案预测准确率会有所提升。