【摘 要】
:
随着科技的发展,人工智能技术在生活中的应用越来越广泛,其中的难点便是如何使机器能够正确地理解人类的语言。机器阅读理解任务的目标是教会机器做阅读理解,使计算机具有和人类一样的理解文章的能力。现有的机器阅读理解方法往往在文章、问题和候选答案之间使用注意力机制来得到相应的向量表示。然而,单一的注意力机制仍有一定的不足,它可能对某些词语过于关注,也可能会忽视某些有用的词语。这会导致它在对文章、问题和候选答
论文部分内容阅读
随着科技的发展,人工智能技术在生活中的应用越来越广泛,其中的难点便是如何使机器能够正确地理解人类的语言。机器阅读理解任务的目标是教会机器做阅读理解,使计算机具有和人类一样的理解文章的能力。现有的机器阅读理解方法往往在文章、问题和候选答案之间使用注意力机制来得到相应的向量表示。然而,单一的注意力机制仍有一定的不足,它可能对某些词语过于关注,也可能会忽视某些有用的词语。这会导致它在对文章、问题和候选答案进行信息交互时不能对其中的关键信息进行有效的利用。针对以上问题,本文提出了一种基于多角度共同匹配机制的机器阅读理解模型。首先使用BERT获得词向量,然后在文章、问题和候选答案交互的模块使用了多种策略从多个角度对信息进行交互,之后通过聚合层获得文档级的向量表示,最后输入答案预测层预测答案。接下来将介绍本文的主要研究内容:(1)本文提出了一种基于多种匹配策略共同匹配的机器阅读理解模型MSCM。该模型在信息交互层使用了四种不同的匹配策略去匹配文章、问题和候选答案三者之间的信息。这四种匹配策略分别是:1.全匹配策略;2.最大池化匹配策略;3.注意力匹配策略;4.最大注意力匹配策略。通过四种不同的匹配策略避免了单一的注意力计算方式对某些词语的关注过多或不足的缺陷,能够更好地对文章、问题和候选答案进行匹配,从而提取出更精准的信息。在RACE数据集上的实验表明模型的准确率相较于基线模型有了较大的提升。(2)本文提出了一种基于多角度共同匹配机制的机器阅读理解模型MPCM。该模型不使用注意力机制去直接的获得文章、问题和候选答案三者的关键信息,而是设计了一个匹配函数,通过四种不同的匹配策略从多个角度对文章和问题与文章和候选答案进行相似度匹配,使用匹配的结果和文章信息相乘去完整的得到相关的信息。同时,本文还将该模型与预训练语言模型BERT相结合,验证了该模型在高阶基础模型上的适用性。在RACE数据集上的实验结果显示,该模型的精度相较于其他基线模型具有了更大的改善。
其他文献
12月13日,科技部火炬中心公布国家级科技企业孵化器2020年度评价结果,海宁市科创中心连续第二年获评优秀(A类)。近年来,海宁市通过"众创空间+孵化器+加速器+产业园"孵化体系建设,推进科技企业孵化载体层级提升。目前共拥有嘉兴市级以上孵化器6家,其中,1家国家级,5家嘉兴市级,全市科技孵化(加速)企业达318家。
时滞是自然界中普遍存在的现象,它使得有限维的动力系统转变为无限维的系统,并且引发起了更复杂的非线性动力学的特性。因此,时滞对神经元同步的影响也引起了国内外学者的重视。目前,关于时滞方面的研究,主要集中在其对耦合神经系统同步行为的影响方面,而关于时滞对耦合神经系统同步后放电模式的影响的研究较少。所以,研究时滞耦合神经元在内在参数变化或外部激励条件下的放电模式的变化有着重要意义。本文利用非线性动力学的
2014年3月,教育部发布了《关于全面深化课程改革落实立德树人根本任务的意见》,明确提出将核心素养体系作为研究学业质量标准、修订课程方案和课程标准的依据。关注学生的核心素养其本质是关注教育要培养什么样的人,现已成为全社会广泛关注的热点问题。《21世纪学生发展核心素养研究(修订版)》一书由林崇德教授编著,
文章基于中国全部科技企业孵化器(简称"孵化器")数据,检验国家级科技企业孵化器(简称"国家级孵化器")的"认证"效应。文章认为,获准入驻国家级孵化器能够向外界传递关于企业质量的积极信号,帮助企业通过高新技术认定。研究发现,相比非国家级孵化器,国家级孵化器中的初创企业获得高新技术认定的概率显著更高。在控制了已有文献中资源连接和能力建设的替代解释后,文章结论不变。从"认证"效果的需求和供给角度分别展开
随着全球导航卫星系统(Global Navigation Satellite System缩写GNSS)技术的不断发展和创新,以及其在诸多领域内的广泛应用。卫星导航与定位服务已经给人们的日常生活带来了巨大变化,与此同时,也对我国的国家安全产生了深远影响,对国防建设提出了新的要求。GPS作为卫星导航系统之中的佼佼者,通过对其的学习与研究,将会有助于推进我国卫星导航事业的快速发展,增强在该领域内的核心
在身份识别越来越受到重视的互联网时代,基于手背静脉的身份识别成为研究热点。但是面临采集设备多样性的情况,跨设备条件下的手背静脉身份识别成为必然趋势。在跨设备以及用户配合度低的条件下,采集的手背静脉图像存在亮度、旋转角度和尺度大小等差异,识别率较低。如何在跨设备条件下开展高精度的手背静脉身份识别具有重要的研究意义。论文主要工作和创新性如下:(1)提出以骨架图来描述静脉的形状结构的两种方案:方案一是由
近年来,目标识别技术已经随着深度学习的发展逐渐成熟,智能家居与时尚行业的兴起为基于计算机视觉的衣物识别提供了新的舞台。在居家环境中使用目标识别网络进行衣物识别,在对人身着的衣物类别进行有效的判断的基础上,预估家居环境中的舒适温度、湿度以及空气流通范围,然后输出预测信号给空调等家电来进行相应调节从而保证人体始终处于一个适宜的居家环境中。因此,智能家居场景下的对目标识别的精度和速度都具有很高的要求,又
近年来,人脸识别技术因使用方便在日常生活中被广泛应用,但是人脸信息易被他人获取制作成伪造人脸,非法用户使用伪造人脸攻击人脸识别系统,对用户信息安全造成了极大的隐患。当前已有的人脸活体检测算法随着攻击手段的不断变化,检测能力逐渐下降,人脸识别系统的安全性面临严峻挑战。针对照片攻击、视频重放攻击和面具攻击,本文将人脸运动特征与深度学习相结合,提出了高准确率的人脸活体检测算法,解决了当前人脸活体检测算法
随着选择地铁出行的人越来越多,为了保障旅客的安全,对地铁站内客流量进行实时准确监测变得尤为重要。不同于其他露天场景,高峰期时地铁站内客流量大,同时站内视频采集设备安装位置较高与视频采集角度问题,导致了视频监控内的行人目标的像素较小,检测难度较大,本文提出多尺度加权特征融合网络,实现地铁客流量的精准实时监测。主要贡献包含以下几点:1.数据预处理:本文提出了一种基于过采样的小目标增强算法,整个数据集中