【摘 要】
:
短文本匹配旨在通过提取两个短文本的特征以预测它们之间的关系。短文本匹配作为自然语言处理领域的基础性研究,其效果的好坏直接影响了如文本蕴含识别、问答系统、信息检索等下游任务的性能。因此,短文本匹配任务作为自然语言处理的一项关键技术受到广泛的关注。目前的短文本匹配研究多聚焦于采用深度神经网络和注意力机制提取两个短文本的语义和交互特征,并通过设计不同的网络结构和交互方式构建短文本匹配模型。尽管现有的研究
论文部分内容阅读
短文本匹配旨在通过提取两个短文本的特征以预测它们之间的关系。短文本匹配作为自然语言处理领域的基础性研究,其效果的好坏直接影响了如文本蕴含识别、问答系统、信息检索等下游任务的性能。因此,短文本匹配任务作为自然语言处理的一项关键技术受到广泛的关注。目前的短文本匹配研究多聚焦于采用深度神经网络和注意力机制提取两个短文本的语义和交互特征,并通过设计不同的网络结构和交互方式构建短文本匹配模型。尽管现有的研究已经取得了一定的成果,但仍存在以下问题:(1)现有的短文本匹配模型无法有效地平衡效果和效率的关系,效果较好的模型往往伴随着复杂的网络结构和大量的训练参数,导致模型推理速度较慢,无法很好的满足实际场景的需求;(2)鉴于短文本匹配任务中的文本长度较短,现有的模型无法依据有限的上下文准确理解一些短文本中关键单词的语义,进而影响模型对两个短文本间关系的判断,导致模型匹配效果较差。针对上述问题,本文从以下三个方面展开研究:(1)针对短文本匹配任务中现有模型结构较为复杂和参数量较大导致推理速度较慢的问题,本文设计了高效轻量的短文本匹配模型(ELTM)。该模型采用简单高效的卷积神经网络获取短文本的语义信息,然后基于残差连接多次循环以共注意力层和融合层构成的交互模块,获取深层次的交互信息并与语义信息进行融合。ELTM模型着重于短文本的原始语义信息和深层次的融合信息,而优化其它模块的结构以减少参数、提升速度。本文在Quora、Twitter-URL、Sci Tail和SICK-E四个短文本匹配数据集上进行了大量的对比实验,结果表明,ELTM模型不仅大幅减少了模型的参数,而且在四个数据集上均取得了优异的效果。(2)针对现有模型无法准确理解一些短文本语义的问题,本文提出了基于语义增强的轻量级匹配模型框架。该框架首先对于短文本中的每一个单词,采用无监督的方法从Word Net知识库中选取最合适的释义描述信息作为外部语义知识,并采用双向门控循环单元(Bi-GRU)获取外部语义知识的表示矩阵;然后基于门控机制将外部知识选择性融入到短文本的语义表示中,增强轻量级模型对短文本的语义理解能力。经过大量的对比实验和实证分析表明,在Siamese-CNN、Siamese-LSTM、RE2和ELTM模型的基础上加入语义增强框架后,均可以有效地提升相应模型在短文本匹配任务的效果。(3)本文进一步提出了基于语义增强的预训练匹配模型框架。该框架同样基于Word Net获取外部语义知识并使用Bi-GRU进行编码得到其知识表示矩阵,然后将两个表示矩阵拼接后输入到Transformer编码层获取外部语义知识的交互信息表示。同时两个短文本输入到预训练模型获取其匹配特征。最后基于多头注意力机制将匹配特征与外部知识的交互信息表示进行融合,丰富模型对两个短文本间关系的特征表示。对比实验结果表明,在多种预训练模型的基础上加入本文提出的语义增强框架,均可以有效地提升相应模型在短文本匹配任务的效果,且相较现有知识增强方法提升幅度更大。综上所述,本文提出了轻量级短文本匹配模型ELTM,并在短文本匹配任务上相较基线方法取得了效果和效率的提升。此外,本文在轻量级模型和预训练模型的基础上融入Word Net知识库中单词的释义描述信息,分别设计了基于语义增强的轻量级匹配模型和预训练匹配模型,并有效地提升了相应模型的匹配效果。研究成果可应用于问答系统、信息检索等实际场景中,对展开相关研究具有借鉴意义。
其他文献
信息技术的发展给统计学和信号处理等领域带来了高维数据,稀疏恢复问题也由此备受关注。在高维数据的研究过程中,稀疏性经常能起到重要作用。在统计领域,稀疏性影响线性回归模型的可解释性。在信号处理领域,压缩感知模型中原始信号的稀疏性能够减少所需的采样数据。组稀疏是指非零系数集中出现在某些组中,为了充分利用组稀疏这一结构先验,基于组稀疏恢复的各类模型应运而生。在高维线性回归模型中,组稀疏恢复的做法是在原有线
自21世纪以来,在全球范围内接连暴发了多起突发公共卫生事件,2019年底“新冠肺炎”(COVID-19)疫情的暴发,更是一起传播范围广、感染速度快且防疫难度大的卫生事件,对中国经济的高质量发展带来了严峻的挑战。股市历来被视为宏观经济“晴雨表”,疫情对于国内经济的冲击也很快地反应到股市中。2020年2月3日国内股市恢复开市后,当日股市收益暴跌,基于行为金融学理论及我国股市以散户为主的市场现状,投资者
矿产伴生的硫铁矿在开采、加工和堆放等过程中,容易与氧气、水和微生物接触发生自然浸出作用,进而产生pH值极低、含有大量SO42-、Fe2+、Fe3+和其他污染离子(如Cu2+、Ag+、As O33-等)的酸性矿山废水(简称AMD)。AMD未经处理直接排入水体,对周边环境及生物生存危害极高,如何实现AMD的有效处理成为国内外众多学者的研究热点。由嗜酸性氧化亚铁硫杆菌(A.ferrooxidans)催化
我国是化工生产大国,众多化工品产能居世界第一,为工业生产、交通运输、建筑施工等其他行业的发展提供了重要支撑。然而,化工生产给我国经济社会发展提供强劲动力的同时,也带来了许多安全问题。爆炸事故是化工生产企业最常发生的事故,在国家持续开展各种形式专项整治行动的情况下,爆炸事故仍时有发生,造成了巨大的伤亡损失,影响着化工生产企业的稳健发展。对化工生产企业爆炸事故历史经验教训的研究不够深入,没有充分挖掘历
技术创新是推动经济社会发展的核心力量。针对新形势新特点,抢抓时机攻破核心技术以此来发挥技术创新的推动引领作用,是关乎国家长远发展的重大问题。新兴技术可以看作是技术创新的成果,它触发了技术的变革,不仅给人类社会带来了巨大的变化,而且在改变传统产业形态的同时创造了大量新兴产业。因此,预测和发现新兴技术显得至关重要。当前新兴技术预测研究大多基于专利文本以及新兴技术的外部特征展开,而根据新兴技术产生模式研
目的 分析全髋置换术老年手术患者复苏室苏醒时间的影响因素及护理策略。方法 回顾性分析2019年6月至2021年12月于中山市中医院收治的196例行全髋置换术的老年患者临床资料,根据患者术后复苏室苏醒时间分为>60 min组和≤60 min组,比较两组患者术后并发症的发生情况,对两组患者临床资料进行单因素及多因素logistic回归分析,分析老年患者复苏室苏醒时间的影响因素,并制订护理策略。结果 1
高质量发展是“新时代”的重要主题。城市是国民经济和社会发展的主阵地之一,近年来出现了经济增长动力不足、城区盲目扩张、城乡发展失衡等问题。建筑业作为国民经济的支柱产业,其发展水平一定程度上也反映着城市建设水平。当前部分城市建筑业发展速度也明显减缓甚至出现负增长状态。上述情形表明,城市与建筑业以数量增量为目标的传统发展模式已出现内生动力不足的端倪。本文从高质量和耦合协调视角出发,以系统理论、协调发展理
随着社会经济的飞速发展我国环境问题频发,其中土壤污染存在程度不一、类型复杂、面积分散等现象,是土壤可持续利用的桎梏。为保证土壤资源的有序开发,原环境保护部在2009年提出土壤环境功能区划概念,随后在2011年出台意见要求建立土壤环境功能区划指标体系及完成区划工作,区划问题已成为环境管理领域的关注重点,亟需相关政策引导完善。我国的大气、水、生态区划已完成,而土壤环境功能区划才刚起步,现有研究大多从土
随着大气污染治理政策的相继颁布以及排放管控措施的持续收紧,我国在大气污染治理上成效显著,PM2.5污染浓度整体水平持续下降,但是仍有许多城市PM2.5浓度未达标,同时O3污染日益显现,成为仅次于PM2.5的污染物。O3作为二次污染物,与PM2.5的二次组分具有相同的前体物。因此,研究选择将十四五生态环境规划重要议题——“PM2.5与O3的复合污染”作为研究对象,以探究城市大气污染的高效管控对策。大
一个地区经济的发展与营商环境息息相关,而政策制度环境是营商环境的重要基石。近年来,我国中央及各地方政府均高度重视营商环境建设,以政策为载体,营商环境相关各领域内开展了多项改革。对我国营商环境政策文本进行分析并最终对此进行量化评价,能促进我国完善营商环境政策,从而推动营商环境的建设与优化。在此背景下,本文对我国2003年-2020年以来发布的营商环境政策文本进行了3个研究:(1)从文档级对我国三大经