基于深度神经网络的答案选择模型的研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:collinccs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
答案选择是自然语言处理中十分重要的任务,同样也是问答系统中必不可少的组成成分。其基本的定义是给出问题和这个问题的答案候选池,目的是从答案候选池中可以准确地找到问题的最佳答案。该任务最困难的挑战在于答案可能不会直接与问题共享词汇单位,问题和答案之间可能只是语义上相关,而且候选答案的信息时而嘈杂,可能含有大量不相关甚至负相关的信息。早期的答案选择任务都是通过传统机器学习算法来实现的,但这种方式非常费时,而且训练出来的模型易出现过拟合问题。而深度学习近十年来蓬勃发展,在答案选择任务上都取得了不错的成果,其中表现非常突出的有卷积神经网络(CNN)、循环神经网络(RNN)、以及双向长短时记忆神经网络(BiLSTM)。但是这些神经网络都各有优点和不足,例如CNN可以获得句子的局部语义但较难获得长距离信息,而RNN可以获得上下文的序列信息但较难获得句子的局部语义。针对以上的问题,本课题研究的主要工作包括以下几点:1.研究多个基于深度神经网络的答案选择模型,针对CNN较难获得长距离信息和RNN较难获得句子局部语义的问题,通过结合多种神经网络对现有的答案选择模型进行了改进,并通过实验验证了多种组合模型的可行性。2.研究答案选择任务的空间向量表示模型和语义特征对齐模型,在多种神经网络模型下引入注意力机制来建立多种组合模型,并在数据集上验证了改进后的模型(BiLSTM-ATT)的效果超过大部分现有模型,之后再以该模型为基建模型做了进一步的改进。3.针对问题和答案之间存在的语义鸿沟问题,引入知识增强记忆网络的外部知识来填补问题和答案之间的语义间隙,将该方法引用在基建模型后,MAP提升了2.55%,MRR提升了2.85%。4.针对传统注意力机制会引入不相关甚至负相关语义信息的问题,设计并实现动态阈值机制来解决答案选择任务中遇到的注意力机制冗余问题。将该方法引用在基建模型后,MAP提升了1.74%,MRR提升了2.15%。5.将知识增强记忆网络和注意力动态阈值同时引入基建模型后进行实验,并与现有模型进行了对比。最终改进后的模型(KQA-BiLSTM-D-ATT)相较于基建模型其MAP提升了4.20%,MRR提升了4.04%。相较于最优对比模型,其MAP提升了2.23%,MRR提升了2.26%。
其他文献
随着互联网技术的飞速发展和网络规模不断扩河,与互联网相关的恶意攻击、非法入侵等安全事件越来越多。如何对网络脆弱性做出准确的评估,并对网络安全漏洞做出及时的发现及预防,就显得尤为重要。目前,针对网络脆弱性评估的研究己经成为网络安全领域的研究热点之一。在对现有网络脆弱性评估方法的分析研究基础上,本学提出了一种攻击图BNAG模型,并引入了节点攻击难度度量指标、学重集等概念对攻击图进行了优化转换,在转换后
银行在严格监管和动态的环境中运营,在这种环境中,机遇和挑战同等发生。在充满活力和竞争激烈的环境中,一些肯尼亚银行倒闭,被置于接管不足状态,而其他银行则逐年实现了特殊
页岩气是一种典型的非常规天然气资源,在不同地区内,页岩气富集控制因素具有较大差异性,明确成藏条件及其影响因素对页岩气勘探及后期开发压裂具有重要的实践意义。本文针对
我国2000年进入了“老龄化社会”,为了应对老龄化问题,我国参考国际通用的养老“三支柱”体系,其中,养老基金(企业年金)是养老体系发展中的重要方向。面对随机波动的现实市场,本文针对DB型养老基金的资产组合管理问题,分别建立了跳扩散模型、带跳的Heston模型、考虑通胀的跳扩散模型,借助随机最优控制理论,探讨这些模型的最优缴费水平和资产配置问题。面对难以求解的非线性随机微分方程,本文巧妙地应用Leg
近年来,铌酸银无铅反铁电体陶瓷由于其具有优异的储能特性和环境友好的特点引起了人们的研究兴趣。但纯铌酸银陶瓷储能特性还远远达不到商用要求,所以提高铌酸银陶瓷的储能特
新型城镇化的核心是指人口城镇化与土地城镇化协调发展,但是,我国普遍存在土地城镇化发展速度大于人口城镇化发展速度的现象。比如,2010年我国城建区面积是1991年的3.21倍,而2010年我国城市人口数是1991年的1.89倍,所以,土地扩张速度是人口增长速度的2.38倍。针对京津冀地区人口城镇化与土地城镇化的协调发展现状,我国学者对北京、天津、河北城镇人口增长率和城建区面积增长率进行了测算,发现京
计算机网络技术的产生和应用,逐步改变了人类的生产和生活方式,提高了人们的生活质量和工作效率。然而网络技术的开放性、共享性随着其迅速的发展也带来了众多的安全性问题。
国内外很多对期权定价的研究都是在几何布朗运动或者分数布朗运动的基础上进行,而双分数布朗运动作为一种更一般的高斯过程,不仅具有自适应性、长期记忆性,还具有增量非平稳性,更加符合股票的实际情况。在规范的场内交易,以及交易所等相关部门的法律法规严格审查和约束下,交易双方几乎不会违约。场外交易由于约束和监管不完善,期权卖方有违约的可能,期权的买方要承受市场风险和信用违约风险这两种风险。本文对具有这两种风险
近年来,乡村旅游的出现,逐渐被城市居民所喜爱,尤其是周边城市的乡村旅游资源倍受青睐。现如今,随着乡村振兴战略的提出和新农村建设的发展,乡村旅游作为第一产业与第三产业结构的优化升级,正以一种蓬勃发展的态势在发展,成为城市居民休闲、观光、度假的重要方式。然而随着乡村旅游的高速发展,逐渐也给旅游当地带来了资源过度利用、环境退化、当地居民空间缩小等一系列问题。本文主要通过文献研究法来了解国内外乡村旅游发展
网络功能虚拟化技术给我们的生活带来了很多的便利,与此同时安全问题逐渐浮出水面。安全在我们的日常生活中扮演着重要角色,如何在保证解决资源分配等问题的同时优化服务的安