机器阅读理解中深度语义匹配和多句推理问题的研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:f_m_q
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是自然语言处理领域的基础研究方向。定一篇文章,该任务要求系统结合问题和选项的语义,自动给出问题的答案。随着深度学习技术的发展以及大规模阅读理解数据集的公布,基于深度学习的阅读理解模型逐渐成为学术研究的主流。深度阅读理解模型的实现一般采用“编码-交互-预测”框架,在该框架下,本课题的主要研究内容如下。首先,针对阅读理解中的语义匹配和句子推理问题,本课题提出了多粒度联合推理模型。通过引入多粒度序列匹配模块来更好地建模文章、问题和选项三者之间的语义关系,利用不同的语义空间下的文本信息进行更高效的序列匹配,从而更准确地在原文中进行答案线索的定位。此外,在信息聚合层提出一种联合推理模块进行句子关系推理,分别利用一维卷积神经网络和自注意力循环神经网络进行相关句子关系的建模。在多选题RACE数据集的实验表明该方法达到了当前较优的单模型水平。之后,针对如何对答案线索信息进行整合的问题,提出了基于选项注意力的胶囊网络。本课题将信息聚合看做一个路由问题,抛弃了传统的池化聚合方式,通过胶囊网络对答案线索片段进行迭代式聚合,同时动态更新匹配层输出的表示向量。同时,考虑到传统动态路由算法在迭代时缺乏对选项语义的关注,设计了基于选项注意力的动态路由算法,在低层胶囊信息的聚合过程中引入和选项之间的语义交互。实验表明基于胶囊网络的信息聚合可以带来较大的性能提升,并且在对推理能力要求较高的问题上也取得了较好的结果。
其他文献
城市轨道交通引导发展的TOD模式,因能够实现对城市时空形态的有效改善和土地资源集约利用,已经成为特大和超大城市实现可持续发展的必然选择。近年来我国一些城市相继推出一批TOD综合开发项目,但这些项目多集中于城市政府主导的车辆基地综合开发类型,区县政府作为主要供地主体的车站开发类型则数量较少,土地因素对城市轨道车站土地综合开发的制约作用明显,这些问题与区县政府对车站土地综合开发的参与意愿较低有关。理清
暗纹东方鲀(Takifugu fasciatus)是一种北温带暖水洄游性经济鱼类,目前该鱼主要依靠人工繁育种群来填补市场需求。但由于长时间驯养,其人工繁育种群出现近亲繁殖,生长速度减缓;此外,冬季寒潮侵袭也会给暗纹东方鲀养殖业造成严重损失。本文从分子辅助育种角度出发,克隆了暗纹东方鲀与生长和耐寒性能3个相关基因,血清素受体4(HTR4)、转化生长因子β1(TGF-β1)和冷诱导结合蛋白(CIRP)
随着天文技术的不断发展,光纤在天文观测中的应用也不断加深。光纤作为导光介质,具有抗电磁辐射、韧性好、机械强度大、可操作性强、成本低廉等优点。本文中光纤主要应用于积
二十一世纪以来,消费者经济实力普遍提高,生活质量也全面改善,国内定制家具行业也得到了快速发展。中国的定制家具行业历经了第一个快速发展时期,此时出现了许多知名的定制家具品牌,市场竞争也从最初的价格竞争慢慢发展成为产品和服务的竞争。定制家具产业也随之而来出现了许多的问题,设计研发不成熟,营销机制还不健全,缺乏大量的专业人才,品牌力量薄弱,市场竞争激烈,许多定制家具企业陷入了销售增长缓慢的困境。面对这种
供应链信息管理能够提高整体工作效率,但是受现有条件约束,企业往往忽视供应链信息方面的管理与优化。然而,面对不确定的信息需求,信息方面的管理引起越来越多的重视,各企业
利用混合在液体中的微泡作为载体粘附液体中的悬浮污染物的方法称为气浮法,这种方法是使液体中产生微泡,用以形成液体、气体以及杂质的混合体,在界面张力的作用下,促使杂质粘
随着基于位置社交网络(Location-based Social Networks,LBSNs)的发展,越来越多的用户习惯于在LBSNs上基于POI(Point of Interest)进行签到,来展现个人的历史轨迹和兴趣爱好,
近年来,我国坚持以推进供给侧结构性改革为主线,着重强调振兴实体经济是重要任务之一,并在“三去一降一补”方面取得了较为显著的成效。但金融领域存在的资金脱实向虚问题,脱离了国家振兴实体经济的目标,使得产融结合的发展一度面临瓶颈。产融结合指的是产业资本与金融资本相互合作,互惠共赢;实现的方式是以股权关系为桥梁,通过参股、控股和人事参与等方式进行结合。在经济高质量发展背景下,新旧动能正在加快转换。如何深化
在现代社会,无论是经济运行还是人们的日常生活都离不开金融。商业银行作为金融业的核心组成部分,对经济发展都起着绝对的影响力。近年来,我国互联网金融发展加速、利率市场
近年来,我国面临对内去杠杆、调结构、控风险,对外迎接贸易战以及地缘政治变化等错综复杂环境,美联储加息进程也给国内政策带来挑战。在这些因素的影响下,我国股票市场呈现跌