多层注意机制下阅读理解问答模型研究与应用

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:shuaigekk1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是使人类能够通过自然语言与机器交互的关键技术,也是人工智能的核心任务。机器阅读理解任务通常以问答的形式呈现,要求算法模型根据提出的问题,通过理解相关文章的内容来给出正确答案。随着深度学习的发展,基于神经网络的机器阅读理解模型不断推陈出新。广泛地使用层次化交互注意力机制和基于大规模无监督语料预训练(pre-training)的迁移学习模型似乎已经成为机器阅读理解算法的标准模式,并且在一些基准任务的数据集上取得了超越人类的表现。然而进一步的研究表明,这些基于多层注意机制的机器阅读理解问答模型在面对推理问题和干扰文本攻击时表现得十分脆弱。除此之外,深度模型在少样本条件下训练时的不稳定性,也阻碍了其在现实环境中的应用。本文针对以上几个关键问题进行了研究,并在此基础上提出了全新的解决方案。该课题的研究内容和贡献主要有以下几个方面。第一,对问题—文章交互注意力机制的学习特点以及作用原理等问题,进行细粒度研究,并对交互查询式机器阅读理解模型,训练前后编码层的编码特点进行比较。方案使用了经过结构简化的BiDAF模型,在语义推理关系清晰的Facebook The(20)QA bAbI task1~3数据集上开展实验。通过对比问题的线索文本与非线索文本,在高维空间上与问题文本编码向量的分布关系,得出编码层在训练过程中的作用实质,是对问题和证据文本的精确语义匹配方式进行拟合的结论。第二,对上下文语境化编码和无监督语料预训练模型,在训练过程中的优化作用进行比较研究。在少样本条件下,对基于大规模无监督语料预训练模型加微调(Fine Tuning)与元学习(Meta Training)两种方法,在阅读理解问答任务上的表现进行实验和性能对比,并对性能差异原因进行分析。第三,基于前面的研究结论,提出使用动态路由网络结合多层注意力机制的机器阅读理解问答解决方案,并展示基于动态路由的DR-BiDAF和DR-BERT两种新模型。两种新模型在开放数据集上的实验结果表明,新模型的答案预测准确率明显优于其它对照模型。除此之外,在训练稳定性上,相较于其它对照模型,新模型能够得到更稳定答案预测准确率。在添加干扰文本的噪声数据上的实验,还显示出动态路由网络对于干扰信息具备更强的抵抗能力,鲁棒性更强。
其他文献
目的探讨胶质瘤磁共振灌注成像参数与病理及肿瘤侵袭性关系。方法对28例胶质瘤行术前磁共振灌注成像,利用脑血容量(CBV)图,计算肿瘤实质及肿瘤周围水肿区平均相对脑血容量值,分析
师:想的不一定都对,数学是严密的,要证明的.而且你这种方法过于烦琐,尽管答案是正确的,但我们不提倡.下面我介绍一下这道题目的标准解法.
随着焦作市旅游业的蓬勃发展,举办的大型活动也在逐渐增加,特别是每2年一届的"中国焦作国际太极拳年会"、每年一届的"焦作国际红叶节",由于举办时正值夏秋季节,参加人员多,且
目的探讨肺表面活性物质(PS)预防新生儿呼吸窘迫综合征(NRDS)的有效性及临床价值。方法29例早产儿气管内滴注单剂预防量PS,并与27例未用PS的早产儿进行临床对照研究。结果预防组在
建筑物是城市规划和建设的关键要素,也是城市中最容易发生变化的部分,因此,探测城市建筑物的变化对于城市发展和规划建设具有重要意义。LiDAR(Light Detection And Ranging)点云数据密度大,精度高,为建筑物的变化探测提供了新的数据源。目前,基于机载LiDAR点云的建筑物提取研究已取得了很好的进展,提出了很多行之有效的方法,但利用多期机载LiDAR点云进行城市地区建筑物的变化探
针对城市交通拥堵问题及追尾事故,从全局角度提出了基于改进蚁群算法的多目标路径规划算法,不仅以最短距离为评判标准,还考虑道路通畅情况,在避免拥堵路径的情况下寻找一条合
健康是促进人的全面发展的必然要求,是经济社会发展的基础条件,是民族昌盛和国家富强的重要标志,也是广大人民群众的共同追求。广场舞,以促进人的健康,丰富人们生活等方面具
通过对10种杏鲍菇菌株的菌盖直径、菌柄直径、菌柄长度、单菇鲜质量等的比较试验,筛选高产、优质、适宜工厂化栽培的菌株。结果表明,1号菌株菌丝生长速度快、长势强,菌丝生物