【摘 要】
:
近年来,随着人工智能理论和技术的快速发展,机器阅读理解任务引起各界广泛的关注。机器阅读理解,是利用计算机进行算法建模,要求机器具有像人类一样的阅读能力,可以通过阅读浏览文本、分析语义、逻辑推理来进行问题的回答,该任务可以衡量机器对自然语言的理解程度,有着重要的研究意义和应用价值。目前,大多数传统的机器阅读理解模型都采用了端到端的“编码—交互—预测”的框架来模拟人类阅读的过程,并在一些公开数据集上取
论文部分内容阅读
近年来,随着人工智能理论和技术的快速发展,机器阅读理解任务引起各界广泛的关注。机器阅读理解,是利用计算机进行算法建模,要求机器具有像人类一样的阅读能力,可以通过阅读浏览文本、分析语义、逻辑推理来进行问题的回答,该任务可以衡量机器对自然语言的理解程度,有着重要的研究意义和应用价值。目前,大多数传统的机器阅读理解模型都采用了端到端的“编码—交互—预测”的框架来模拟人类阅读的过程,并在一些公开数据集上取得了不错的表现。但研究发现,这些模型由于只包含了文本和问题的单层交互,会存在文本和问题交互不足的情况,无法深入挖掘文本和问题之间的关联。而且,在现实场景中,有标注的数据很少,甚至是无法获得,且对无标注数据进行标注的成本很大,这也是机器阅读理解任务中存在的难点。那么如何在数据匮乏的情况下进行模型的训练是一个巨大的挑战。为了解决上述问题,本文提出了—种基于多层次聚合注意力机制的机器阅读理解模型来加强文本和问题的交互深度、以及一种少样本条件下的半监督机器阅读理解框架来解决训练数据不足的问题。本文的主要工作和贡献包括:(1)提出了一种基于多层次聚合注意力机制的机器阅读理解模型(MLAA)。该模型模拟人类做阅读理解的思路,不仅利用聚合注意力机制从不同角度提取文本和问题交互的重要特征来弥补单—注意力机制的不足,还使用多层次交互的结构去加深文本和问题之间的交互表示,挖掘文本和问题间的深层关联,为最终的答案预测提供了更有效的信息。实验结果表明,相比其他传统的机器阅读理解模型,MLAA在SQuAD数据集上取得了更好的表现。(2)提出了一种少样本条件下的半监督机器阅读理解框架(SSF)。在机器阅读理解训练数据匮乏的情况下,如何引入大量无标注数据中的有效信息来辅助模型训练是至关重要的。基于此,该框架利用半监督的思想,在少量有标注数据的基础上,把无标注数据的正则项损失(无标注数据的预测答案与增强后数据预测的答案之间的差距)添加到总损失函数中,提高了机器阅读理解模型少样本学习的能力。本文从SQuAD数据集上抽取了10篇文本和100篇文本分别构建了少量有标注数据集Mark-SQuAD(含2764条数据)和大量无标注数据集UnMark-SQuAD(含17407条数据)来作为实验数据。实验结果表明,SSF框架在少样本条件下的机器阅读理解任务中是有效的。
其他文献
容迟网络(delay tolerant network,DTN)是一种不存在稳定端到端链路的新型网络,由于这种网络具有网络拓扑结构动态变化、传输时延高以及资源有限等特点,节点的移动无法预测,消息在源节点与目的节点之间的传递很少存在直达的链路。因此,在容迟网络中节点之间采取“存储-携带-转发”的消息传输机制,携带消息的源节点利用中继节点作为通信媒介,最终将消息转发到目的节点,完成整个消息的传输。容迟
在大型物理实验装置中包含多种探测器,将探测器的输出进行数字化采集并根据数据分析粒子的信息是物理实验的重要环节。量能器主要用于测量粒子的能量,输出通常表现为脉冲信号的形式,在脉冲信号中提取时间与幅度信息是粒子分析重要的一步。脉冲特征提取有很多方式,如曲线拟合、种群技术等。随着探测器实验数据量的不断增加,探测器环境中往往包含随机噪声、长期漂移、短期改变等影响。传统的数字化处理方式在消除探测器环境中噪声
在技术飞速发展的当下,舰船上设备间的数据传递更加繁多、复杂,作为舰船上各种系统信息传输的基础平台,舰船网络所承担的数据交换和信息共享需求与日俱增。由于舰船上的设备种类多种多样、不同的设备产生的数据格式也不尽相同,直接进行舰船网络设计需要耗费大量财力物力,因此需要行之有效的验证工具,模拟出多种数据流来对舰船网络的信息交互进行研究。本文提出了舰船网络仿真模拟系统的方案,建立仿真环境得到舰船网络的性能指
近年来,随着教育信息化的快速发展,推进了数字教育资源的共建共享,缩小了城乡间的教育资源差距。但是,由于互联网信息规模大,数据杂乱且无序,碎片化严重,而教科书仅有知识框架,也不足以为学生提供完整的、全面的知识内容体系。知识图谱的出现为教师和学生提供详细的学科知识体系和清晰的知识组织关系,有助于提高学生的学习效率,对于教师的备课上课也具有指导意义。指代是指在下文采用简称或代词来代替上文已经出现的某一词
随着科学技术的不断发展,越来越多的用户在网上分享自己的观点。社交网站和购物网站上隐藏着大量的用户情感信息。如何从这些海量数据中挖掘出有效的信息并加以利用已成为研究的热点。文本情感分析就是对文本中深层次的情感信息进行探索和分析,通过一定的方式找到文本中的有效信息并加以利用。然而,现有的情感分析模型无法有效的提取文本深层次的情感信息,并且缺乏提取文本内重要信息的能力,为了进一步提高情感分析的水平,针对
“一带一路”是“丝绸之路经济带”和“21世纪海上丝绸之路”的简称,以政策沟通、设施联通、贸易畅通、资金融通、民心相通为主要内容加强沿线国家之间合作。语言互通是实现“一带一路”互联互通的重要方面。加强语言能力研究,提升语言能力是“一带一路”建设中非常重要、紧迫的研究任务。但是在目前的高新技术词语推广方面,如:支付宝、清洁能源的光伏发电、北斗卫星导航等特色的词语,教师很难用语言将每个知识点都解释的非常
党的十九大报告中明确指出,要深刻挖掘中华优秀传统文化,并结合时代要求继承创新,让中华文化展现出永久魅力和时代风采。荆楚文化被认为是华夏民族文化的一个重要组成部分,在我国古代文明的发展历程中具有举足轻重的地位,是湖北的“中国形象”和“世界名片”,是传播“一带一路”中华文化的重要组成部分。在荆楚文化中,尤以中华历史楚国文物漆器作为代表,其造型之精美、纹饰之绚丽,可谓漆器史上的一次飞跃,尤其是其表面装饰
情感在人类交往过程中有着不可替代的作用,面部表情是人表达情感最直接最常用的方式。面部表情分析是人脸识别技术中不可或缺的重要研究内容,研究的是如何高效准确地捕捉和分析面部表情及其传递的信息。面部表情分析使用表情的类别和强度两个属性全面地分析人的情绪状态,在新型人机情感交互等领域有着巨大的研究价值和广阔的应用前景。在目前的面部表情分析研究中,大量工作主要集中在识别面部表情类别,而很少有对表情强度的研究
DDoS攻击是一种比较常见的网络攻击方式,其技术原理并不复杂,但是造成的危害非常大。因此,实现DDoS攻击的精确检测并采取有效的防范措施是非常重要的步骤。然而,现有的研究工作仍然存在不足,主要体现在主流研究工作采用有监督学习算法来进行DDoS攻击检测,这对新形式的DDoS攻击的检测效果并不理想。针对上述不足,本文研究了无监督学习算法在DDoS攻击检测中的应用,旨在提高DDoS攻击检测的准确率。本文
头部姿态估计是计算机视觉的热点研究方向之一,并在人机交互、学习者行为分析等领域有着广泛的应用。虽然已经很多方法在实验数据集上报告了良好的结果,然而这些方法在实际应用时性能却急剧下降。究其原因:大部分头部姿态估计算法采用有监督学习方式训练,对数据集的头部姿态客观标注过于依赖;然而,由于标注困难,现有数据集的头部姿态标注存在较大误差。为规避头部姿态估计方法对数据集标注的依赖,本文研究了人脸三维重建和基