基于图神经网络和注意力机制的文本匹配方法研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:baliver110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本匹配方法旨在判断两段文本是否表达相同的含义或者描述相同的事件。文本匹配是一项非常重要的自然语言理解任务,在搜索引擎、在线客服等服务中有着广泛的应用。由于文本结构复杂,语义丰富,而且文本对之间往往具有复杂的交互关系,使得文本对之间的语义匹配成为一个具有挑战性的任务。因此针对当前文本匹配任务存在的问题,本文研究了一种短文本表示模型、短文本匹配模型以及长文本匹配模型,本文开展的研究工作如下:(1)针对当前大多数短文本表示模型缺乏全局句法依赖关系等空间信息导致文本表示质量下降的问题,提出一种基于异构图和图注意力网络的短文本表示模型。该模型通过建立短文本的异构图结构,利用句法依存关系、点互信息以及上下文信息充分捕获短文本的空间特征,并利用图注意力网络(Graph Attention Network,GAT)对异构图节点进行嵌入表示,更好地提取有效特征。该模型优于基于时序建模的短文本表示模型,在短文本匹配任务上也取得了非常具有竞争力的结果。(2)针对现有的短文本匹配模型对短文本建模时未考虑到词的相对距离的重要性,导致对文本对的核心语义的建模出现偏差的问题,提出一种基于距离感知自注意力和多角度匹配的短文本匹配模型。该模型将短文本中词与词之间的距离信息融入到自注意力机制中,使得注意力集中到那些距离更近的词上,与此同时,利用交互注意力机制捕获短文本间的交互关系,最后利用多角度相似性建模方法进一步提升短文本匹配效果。该模型在短文本匹配基准数据集LCQMC、BQ以及Quora上分别取得了86.8%、84.1%和89.2%的准确率值,该结果优于现有公开发表的短文本匹配模型,并且其网络参数和时间复杂度更低。(3)针对现有的长文本匹配模型难以提取长文本中的核心主题和关键信息,并且难以建模长文本对之间的复杂交互关系,导致长文本匹配性能变差的问题,提出一种基于聚合关键词图和多头图注意力网络的长文本匹配模型。该模型提出了将两个长文本建模为聚合关键词图的方法,建模长文本对的空间结构,并将长文本对的局部匹配特征嵌入到聚合关键词图中,最后再利用多头图注意力网络对聚合关键词图进行特征抽取,进一步提高对长文本对的匹配性能。该模型在长文本匹配基准数据集CNSE和CNSS上分别获得了82.4%和89.8%的F1值,该结果均优于现有先进的长文本匹配模型。综上所述,本文提出的短文本表示、短文本匹配以及长文本匹配方法均具有一定的研究价值和应用价值,能够为基于文本匹配方法的应用提供更高效和舒适的服务。
其他文献
图像分类任务一直是计算机视觉中的一项重要研究任务。由于深度学习近年来的迅速发展,神经网络在图像分类任务中出现了越来越多的应用。在早期通过专家手工设计神经网络模型,要找到正确合适的架构是相当耗时、费力且易出错的任务。神经架构搜索(Neural Architecture Search,NAS)的出现使得在数据集上可以自动搜索出最适合的模型架构,但搜索空间非常大,常见的搜索策略计算开销也非常大。可微分神
学位
我国保险业经历多年的快速发展,保费规模庞大,保险在人民心目中的地位也逐渐提升,然而在国家经济增速放缓,人民保险需求有限以及保险企业转型,监管力度加强的双重压力下,公司治理作为“偿二代”监管体系有效实施的重要保障,被认为是保险企业面对增长瓶颈时的重要抓手,必须得到良好的改善。因此本文试图通过实证研究,以我国寿险公司为例,探究公司治理对盈利能力的影响程度,从而判断在“偿二代”二期工程开展初期的重要节点
学位
本文在经典的最优消费-投资问题框架下,引入保险、消费习惯和通货膨胀的因素,研究了通货膨胀下个体的最优消费-投资-保险问题以及这个框架下消费习惯对个体最优决策的影响。通过动态规划原理对HJB方程的求解,本论文讨论了常相对风险厌恶函数(CRRA)下个体的最优策略的问题,通过计算得到了其显示解并对此进行了定性分析。最后通过数值模拟分析了消费习惯在通货膨胀下的个体最优消费-投资-保险问题中的作用。文章主要
学位
改革开放以来,随着我国资本市场的不断完善,保险资金可投资渠道进一步拓宽,保险机构的投资也越来越频繁,举牌行为引发广泛关注。股权投资是保险机构资金运用的重要方式,截至2019年末,我国保险资金运用余额达到18.53万亿,同比规模增长12.91%,其中股票余额1.49万亿,占总余额的8.06%。作为第二大机构投资者,保险机构持股不仅拓宽了保险资金的投资渠道,促进了保险资金流动效率,优化了保险盈利模式,
学位
生物发光断层成像(Bioluminescence Tomography,BLT)作为一种无创的医学成像技术,能够动态地提供活体动物肿瘤分布的信息。然而,由于生物组织的高散射特性,以及生物体表面光学测量信息的有限性和噪声干扰,BLT光源重建是一个病态问题。目前,以1L范数凸优化和贪婪算法为代表的稀疏表示理论为解决病态问题提供了解决思路,在BLT重建中得到了广泛的研究,能够实现光源的有效重建。但是,基
学位
在文物保护领域,三维数字化修复是热门研究课题之一。作为三维数字化修复的重要组成,兵马俑三维模型部分结构提取在兵马俑的修复、碎片拼接相关文物保护研究工作中有着重要的研究价值。目前,传统的手动划分与结构提取的方法,依赖专家主观经验,操作较为复杂,最终划分结果误差较大且整体划分过程耗时较长。针对以上问题,本文提出了两种针对兵马俑三维点云的自动化分割聚类方法来实现对兵马俑三维模型的部分结构数据提取。本文的
学位
中国逐步进入老龄化社会,老年残疾失能人口数量也随之上升,给家庭及社会带来了巨大的残疾失能保障压力。而长期护理保险的普及有助于缓解日益高涨的残疾护理需求。目前,社会性长期护理保险尚处于试点阶段,并且试点地区的现行政策存在诸多限制,给商业残疾保障类保险产品留出了充足的发展空间。混合型长期护理年金是一种创新型残疾保障类商业保险产品。根据前人的理论,该产品通过结合生命年金和长期护理保险的保障范围,中和残疾
学位
中国的风险导向偿付能力体系(简称偿二代)是2016年开始正式实施的针对保险公司的风险监管体系,建立起了定量监管、定性监管、市场约束的三大支柱。在偿二代下,监管机构对以保险风险、信用风险为主的可量化风险进行定量监管,对以操作风险、战略风险为主的不可量化风险进行定性监管。战略风险影响巨大,其试错成本和纠错成本都十分高昂,重大战略规划的失误所引发的后果往往是灾难性的,因此银保监会在监管实务工作中对保险公
学位
党的十九届五中全会明确提出要实施积极应对人口老龄化的国家战略,机关事业养老保险作为保障退休人员权益的一项基本社会保障制度,在促进经济和社会发展方面发挥着巨大的作用。积极推进机关事业单位养老保险制度改革,做好养老保险基金的收支预测,提前部署应对方案,提高基金支付能力,为积极应对人口老龄化,防范化解人口老龄化风险保驾护航。2015年初,山东省政府根据《国务院关于机关事业单位工作人员养老保险制度改革的决
学位
保险公司的准备金制度是适应其负债经营的特点而建立起的维持偿付能力的安排,其初衷是保证保险公司有足够的资金以应对未来可能发生的赔付。2016年“偿二代”正式实施,偿二代以风险为导向,更为系统地监控保险公司的偿付能力。偿二代实施期间保险公司面临的风险环境发生了较大变化,因而偿二代在执行层面暴露出许多问题。2017年9月,监管部门开启了偿二代二期建设,2021年底银保监会公布《保险公司偿付能力监管规则(
学位