论文部分内容阅读
机器阅读理解旨在使机器像人类一样阅读文本,能够通过对文本的深入理解回答一系列相关问题。阅读理解近几年受到了学术界和企业界的广泛关注,已成为人工智能及NLP领域的一个研究热点。目前大部分研究针对的问题对应的答案都比较简短,而具有长答案的描述类问题在现实生活中广泛存在,因此有必要对该类问题进行研究。由于描述类问题语义概括程度高,答案一般由多句话组成,具有篇章性特点,所以加强问题和篇章的理解对回答该类问题尤为重要。
本文的主要工作如下:
(1)尝试了基于问题理解的解答策略。本文通过识别问题类型、问题主题和问题焦点这三种信息来加强模型对问题的理解。基于问题理解的解答策略的主要思想为:首先,通过卷积神经网络和关键词识别问题类型;其次,通过句法分析获取问题主题和焦点;最后将这些信息融入到答题模型中。在相关数据集上进行实验,结果显示:融入问题理解的答题模型相比baselines结果提高了2%-10%。
(2)研究了基于篇章表示的解答策略。我们采用层级编码方式对篇章进行表示,首先分别用长短期记忆网络和卷积神经网络对词序列进行编码得到句子表示;继而再将句子表示输入到双向LSTM网络中得到篇章表示;然后,将获得的篇章表示与问题表示进行交互,更新篇章表示;最后预测层基于句子序列预测答案区间。实验结果显示:篇章的层级编码方式使模型的Rouge_L值提高了约4%,Bleu_4值提高了约2%。
基于上述模型,我们对数据集中占比非常高的方式类问题的解答进行了进一步研究,针对该类问题的答案句之间具有时序关系的特点,在模型预测层融入时序关系。模型的Rouge_L值和Bleu_4值分别提高了1.08%、0.97%。
(3)实现了基于篇章与问题理解的解答策略。在答题模型中同时融入问题理解信息与篇章的层级表示,并使用文档排序信息和答案后处理策略。在相关数据集上进行测试,最终模型的Rouge_L值和Bleu_4值分别提高了约9%、11%。
从以上实验结果可看出,基于篇章与问题理解的模型在描述类问题的解答上取得了一定的成效,但未来还需从抽象词具体化、篇章关系识别等方面进行进一步研究。
本文的主要工作如下:
(1)尝试了基于问题理解的解答策略。本文通过识别问题类型、问题主题和问题焦点这三种信息来加强模型对问题的理解。基于问题理解的解答策略的主要思想为:首先,通过卷积神经网络和关键词识别问题类型;其次,通过句法分析获取问题主题和焦点;最后将这些信息融入到答题模型中。在相关数据集上进行实验,结果显示:融入问题理解的答题模型相比baselines结果提高了2%-10%。
(2)研究了基于篇章表示的解答策略。我们采用层级编码方式对篇章进行表示,首先分别用长短期记忆网络和卷积神经网络对词序列进行编码得到句子表示;继而再将句子表示输入到双向LSTM网络中得到篇章表示;然后,将获得的篇章表示与问题表示进行交互,更新篇章表示;最后预测层基于句子序列预测答案区间。实验结果显示:篇章的层级编码方式使模型的Rouge_L值提高了约4%,Bleu_4值提高了约2%。
基于上述模型,我们对数据集中占比非常高的方式类问题的解答进行了进一步研究,针对该类问题的答案句之间具有时序关系的特点,在模型预测层融入时序关系。模型的Rouge_L值和Bleu_4值分别提高了1.08%、0.97%。
(3)实现了基于篇章与问题理解的解答策略。在答题模型中同时融入问题理解信息与篇章的层级表示,并使用文档排序信息和答案后处理策略。在相关数据集上进行测试,最终模型的Rouge_L值和Bleu_4值分别提高了约9%、11%。
从以上实验结果可看出,基于篇章与问题理解的模型在描述类问题的解答上取得了一定的成效,但未来还需从抽象词具体化、篇章关系识别等方面进行进一步研究。