机器阅读理解关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:bxinliy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着技术的不断发展,自然语言处理的研究逐渐转入自然语言理解的研究。机器阅读理解,便在这个大背景下应运而生。机器阅读理解旨在让机器能够像人类一样理解文本的意义。机器阅读理解不仅仅是对文字的“感知”,更是对文字的“认知”。  随着深度学习技术的蓬勃发展,当前机器阅读理解的主要方法是基于深度神经网络的表示学习技术。这种技术利用深度神经网络对文档和问题进行建模,自动化地学习到文本中的词法、句法及语义信息。然而,这种数据驱动技术的基础是海量的训练资源,但现有的有标注阅读理解资源的规模都非常小,大量有价值的资源数据是无标注的。本文以表示学习技术为基础,从数据资源挖掘利用的角度进行研究,并探索机器阅读理解技术在开放领域问答中的应用。主要的研究成果和创新点包括:  1、提出了一种依靠外部资源的机器阅读理解方法  针对现有很多机器阅读理解数据规模太小问题,本文提出了一种利用外部资源的机器阅读理解方法。该方法将机器阅读理解拆分成答案选择和答案生成两个子部分。进而依靠外部海量的答案选择和答案生成资源进行辅助训练。并且,针对引入外部资源的时候可能产生的数据领域不一致问题,本文依靠知识蒸馏技术进行迁移学习。最后,使用策略梯度技术将两部分结合在一起生成答案。实验结果表明本文提出的方法成功地将深度学习技术应用在小规模机器阅读理解数据MCTest中,并且取得了比传统基于特征方法更好的结果。  2、提出了一种基于生成式对抗网络的无监督机器阅读理解方法  针对现有机器阅读理解方法难以利用无标注数据的问题,本文提出了一个基于生成式对抗网络的无监督机器阅读理解方法。该方法首先构造一个生成器用以根据故事的背景文档生成可能的结论,然后依靠一个判别器判断这个结论是否可以被背景文档推断出。生成器和判别器交互地对抗训练,最终在无标注的故事语料中学习到上下文推理信息。该方法在常识机器阅读理解任务SCT中取得了比以往依靠语言学特征的方法更好的效果。  3、提出了一种基于编码器-解码器的无监督机器阅读理解方法  针对现有机器阅读理解方法难以利用无标注数据的问题,本文提出了一种基于编码器-解码器的无监督方法对海量故事文档进行建模。该方法依靠编码器将背景文档编码到一个隐含空间,然后依靠一个解码器将能被背景文档推理出的句子解码出来,整个模型依靠损失再调整策略进行训练。测试阶段,本文使用一种基于似然概率的互信息方法,判断目标句子是否可以被给定的背景文档推断出。这种无监督的生成式模型在常识机器阅读理解任务SCT中取得比以往方法更好的效果。  4、提出了一种基于文档门控选择机制的开放域问答方法  机器阅读理解技术一个非常重要的应用方向是开放域问答。针对以往将机器阅读理解应用于开放域问答方法中存在的弱监督数据质量低、答案概率偏置等问题,本文提出了一种基于自举法的弱监督数据生成方法用以动态地获取训练数据。并且依靠一个基于卷积神经网络的文档选择模型判断文档和问题的相关度。并且将上述文档选过程嵌入到机器阅读理解过程中以生成开放域问题的答案。实验表明,本文提出的方法获取的弱监督数据质量要显著优于以往的基于启发式方法获取的数据,并且,在三种开放域问答的任务中都取得了比以往模型更好的结果。
其他文献
雷达辐射源信号识别是电子情报侦察(ELINT).电子支援侦察(ESM)和雷达威胁告警(RWR)系统中的关键处理过程,也是电子干扰的前提和基础,其识别水平是衡量雷达对抗设备技术先进程
随着软件在航天型号系统中得到广泛的应用,软件在系统中的作用也越来越重要。在很多的安全关键性应用领域,特别是航天型号中,对软件的有效测试的需求也在不断增长。其中,在软件确
无线传感器网络(wireless sensor network, WSN)由部署在监测区域内大量的、微型的传感器节点组成,其目的是协作地感知、采集和处理监测区域内感知对象的信息,并发送给观察者
随着智能手机和3G网络的逐渐普及,移动用户规模的快速增长,手机正朝着智能、互联、开放等方向发展,安全问题也日益突出。人们越来越需要一款安全软件,能够监控手机联网行为,实时的
微代码存储在中央处理器(CPU,Central Processing Unit)的解码单元中,通常是由类似汇编语言所编写的代码。处理器将变长的x86指令翻译成一系列微操作,以便于由CPU内部以类似精简
视频文本能够提供重要的视频语义信息以供视频检索和视频摘要,因此获取视频文本对于视频语义分析具有重要作用。有效地检测出视频中的文本无疑是其中一项关键的技术。文本检
随着数控技术的不断发展,传统数控系统因其专用、封闭的结构特点限制了自身的性能,已不能很好地满足现代制造业的需求。为此而提出的开放式数控系统具有更优的可用性、可维护性
在UCT算法的基础上,蒙特卡洛搜索算法已经成为所有现代计算机围棋程序的标准解决方法。围棋本身及蒙特卡洛搜索算法的特性,决定了计算机围棋程序的实现不仅计算量大而且计算
业务流程执行语言(Business Process Execution Language, BPEL)是一种Web服务(Web Service, WS)组合语言。随着BPEL流程变得越来越复杂,通过测试来保证流程的可服务性和可靠
Internet技术的发展使网络中蕴含的信息资源和网络用户迅速激增,庞大的用户群催生了互联网的各种搜索应用。快速、高效、准确地检索信息,只靠单台计算机,无论是处理能力还是