基于注意力机制的重复性问题检测模型

来源 :厦门大学 | 被引量 : 0次 | 上传用户:zhqs1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着社区问答(Community Question Answering,CQA)网站的快速发展,CQA系统中积累了大量问题,这些问题中有很多是重复性问题,即有着相同的回答。在实际应用中,如果能从CQA问题数据库中快速检测出与用户所提问题相同的问题,那么这些问题的答案便可快速返回给用户,满足用户对问答系统及时性等的需求。因此,如何检测出CQA系统中的重复性问题是影响CQA发展的一个关键问题。本文针对CQA中的重复性问题检测任务,做了如下工作:1)大多已有的研究往往直接利用预训练的词向量作为模型输入,并没有考虑到预训练词向量没有包含上下文信息的缺点。本文提出利用句子信息过滤词向量中语义信息的方法,该方法可将词向量中与上下文相关的信息提取出来,以增强词向量中上下文相关的语义信息。2)本文提出一种基于孪生网络的模型,在词匹配过程中可以充分利用问题中词与词之间的相关信息。同时,在句子表示过程中,本文基于结构化注意力将传统模型中仅仅由单一向量表示句子信息的方法转化为多个向量表示,使得本文模型可以捕捉更多的句子信息。此外,本文提出了不同于原有模型中将句子单独转化为向量再匹配的方法,而是尝试将两个句子作为整体去建模,最终得到的表示向量为整体句子对表示,这是一种更符合自然情况的方法。3)在词匹配过程,本文利用注意力方法将句子中相关信息进行整合,在句子向量表示过程中利用结构化注意力生成多个句子向量表示。注意力机制本身具有的可视化效果使得本文模型具有一定可解释性:词匹配过程中的注意力机制可以展示词与词的相关关系;在生成句子或句子对表示时,结构化注意力可以展示句子或句子对中哪些词或短语受到了关注并对模型最终的判别产生影响。4)最后,本文在几个规模不一的CQA重复性问题数据集上进行了实验,实验结果验证了所提模型的有效性。同时,不同模块的对比实验,也反映了所提模型中各个模块的有效性。多个数据实验表明,本文方法不仅能为决策者提供模型判别的可视化解释,同时也可保证模型在重复性问题检测任务上的有效性。
其他文献
滨海湿地生态系统具有极高的生产力,提供了许多重要的生态系统服务,其面积变化以及随海平面上升的命运受到越来越多海岸带生态学者们的关注。湿地植被生长的时空动态与滨海湿
美国能源信息署(EIA)公布的周度库存报告反映了当前原油市场供需状况,是原油期货市场最重要的新闻之一。Tetlock(2010)提出了非对称信息理论,从量价关系的角度,发现公共新闻可以削弱知情交易者的信息优势,增加不知情交易者适应流动性冲击的意愿,减少信息不对称。鉴于此,本文检验了以库存报告为代表的定期公布的新闻对原油期货市场信息不对称的影响。实证检验中,通过分析EIA库存报告公布对原油期货市场量
清朝末年随着西方列强的侵略,君主立宪思想传入中国。面对日益严重的国内外统治危机,清政府决定预备立宪。在这场全国性的预备立宪潮流下,地处偏远西北的甘肃省也进行了各项变革,在预备立宪实施方面,其主要表现形式为甘肃咨议局。由于甘肃省自身的特殊局限,本应为民意代表机构的甘肃咨议局被封建顽固势力所把控,“遥戴皇灵,绝不承认共和主义”,并联合旧有势力绞杀省内外革命,成为了维护封建统治的工具。在实际运作过程中,
在金融科技飞速发展的历史背景下,数据分析技术与机器学习算法在金融市场中的研究与应用开始流行与活跃。本文聚焦于机器学习算法在市场预测的研究,以新闻文本数据为主要研究
美国独立后就在现实利益的驱使与扩张主义思想的推动下,制定了一系列向西扩张的政策,具体表现为领土扩张、经济扩张与文化扩张。这种外部扩张压力引起了土著部落巨大的社会变迁,并对他们造成严重的破坏性影响。为解决部落面临的种种危机,求得生存,以肖尼人特库姆塞和坦斯夸塔瓦为代表的复旧派带领部分印第安人走上了抵抗美国扩张的道路,并且提出了解决部落危机的一系列方针:首先,特库姆塞等人试图回归印第安人原有的宗教信仰
金属有机框架(MOF)作为一种具有大比表面积、高孔隙率、低成本的新型材料,近年来已被广泛应用于超级电容器中。然而MOF的低导电性和不完全暴露的活性位点一定程度上限制了其电
目的:本研究旨在从细胞和分子水平阐明KATP通道通过调节小胶质细胞的凋亡及自噬对脑缺血再灌注损伤的神经血管单元起保护作用,为靶向于小胶质细胞功能调节药物应用于脑卒中等
从上世纪60年代以来,学术界开始经历被称为“语言学转向”或“文化转向”的潮流。这股潮流对历史研究的重要影响之一是推动了新文化史的诞生。林·亨特便是新文化史的代表人物之一。中外史学界对林·亨特的史学思想已存在关注,但对其人权史写作的研究则颇为薄弱。林·亨特的人权史作品有着深刻的理论来源。这其中的首要前提是文化概念的扩张。人类学使传统的文化概念的内容更加广泛化、视角更加历史化、性质更加符号化,从而推动
国内外宏观经济环境的日益复杂提高了我国实体经济对衍生品等风险管理工具的需求。中国衍生品市场发展十分迅速,各品种也日趋丰富。衍生品受到了监管部门、投资者和管理者越
目的:根治性子宫切除术+盆腔淋巴结清扫术是早期宫颈癌的最佳治疗方案,而术后辅助治疗的选择取决于与复发相关的病理中、高危预后因素。目前标准的术后辅助治疗方案是辅助放