基于深度学习的机器阅读理解模型研究

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:wangzuyuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解,旨在根据对文本的理解给出符合问题的答案,是自然语言处理和人工智能领域的研究热点问题之一。随着深度学习技术的快速发展和理论研究的深入,机器阅读理解的应用范围也日益广泛,并间接促进了自然语言理解、信息检索、图像识别等领域的进展,具有非常高的学术研究价值和商业应用价值。现有模型虽然已经具备了在单文档或者单段落中进行答案预测的优异性能,但是,在多段落或者多文档中实现多跳推理的机器阅读理解任务仍极具挑战性,对答案正确性的验证更进一步加大了任务难度。为了提高机器阅读理解模型的预测性能,确保预测答案的准确性及可靠性,本文基于深度神经网络开展了多跳式机器阅读理解任务和答案验证模型的研究,主要研究内容如下:(1)为了实现在多文档或者多段落之间的多跳推理,本文提出了一种基于图注意力神经网络的多跳机器阅读理解模型HGA。首先,为了充分利用给定的非结构化自然语言文本信息,构建了具有不同节点类型和边关系的实体阅读推理图,从问题节点出发,经过链路式的推理,跳转至候选答案节点,即预测的问题答案。其次,针对构建的实体阅读推理图,使用图注意力神经网络对图进行更新,更新过程中同时引入问题特征,避免了对问题信息的忽略。最后,在实体阅读推理图和问题之间使用双向注意力机制,可以进一步获得图节点和问题之间具有交互信息的语义表征,为多跳推理提供更多的预测信息。实验结果表明,HGA模型可以提高多跳式机器阅读理解任务中预测答案的准确率。(2)针对机器阅读理解模型对不存在答案的问题依然给出预测答案的缺陷,本文提出了一种面向答案验证的机器阅读理解模型EI-Verify。受人类阅读模式的启发,该模型结构包括泛读、精读以及答案验证三个模块。首先,泛读模块模拟人类首次阅读未见过的文本过程,通过简单的浏览文本,初步预测出问题答案,并判断该问题的可回答性。其次,精读模块通过在问题和段落之间进行信息的交互,模拟人类代入问题阅读文本的过程,基于对文本的理解重新预测问题答案。最后,答案验证模块结合前两个模块预测的答案结果,进行答案跨度调整,并给出最终的答案跨度预测。此外,为三个模块中的损失函数赋予不同的权重系数,进行联合优化。实验结果表明,EI-Verify模型不仅提升了预测性能,而且通过答案验证机制进一步保证了答案的可靠性和合理性。综上,本文基于深度学习方法,面向多跳式阅读理解和答案验证任务,分别提出了基于图注意力神经网络的多跳机器阅读理解模型HGA和用于答案验证的机器阅读理解模型EI-Verify,有效提升了模型预测答案的准确性和可靠性,对深入研究基于深度学习方法的机器阅读理解任务具有一定的理论意义和应用价值。
其他文献
高比例风电是新型电力系统发展的突出特征,但风电随机性与反调峰特性导致系统灵活性需求加剧。储能可有效提升系统应对风电不确定性的灵活调节能力,定量分析储能对系统调节能力的影响有利于储能的合理规划利用。基于源荷储互动经济调度模型,考虑储能参与系统调峰、爬坡和旋转备用,通过越限约束边界的迭代生成计算风电可调度域;对比不同容量规模和空间布点的储能配置方案下系统风电可调度域正负偏差边界,量化表征储能配置对系统
期刊
随着经济社会的快速发展,人们的消费观念悄然发生改变。近几年来,人们不管经济是否富足,都可能出现冲动消费行为。尤其是大学生由于社会阅历浅、思想单纯、消费欲望强烈,更容易受市场营销、商业广告等方面的影响而发生冲动性购买。已有研究发现,当代大学生的物质主义水平普遍偏高。这种物质主义倾向是否会对其冲动性购买产生影响,是一个值得探讨的课题。物质主义者将金钱作为成功和幸福的标志,为此形成的金钱态度会影响个体的
学位
报纸
<正>外籍人才是我国高新技术发展不可或缺的组成部分。新个人所得税法改革确立了综合与分类相结合的混合计征体制,将非居民纳税人的居住时间范围收紧。本文从新个税制度改革要点入手,分析新个税法改革对我国高新技术企业引进外籍人才的影响以及企业可能面临的涉外税务风险,并提出企业的风险防范策略。
期刊
<正> 我科1986~1990年以来运用补血活血法治疗顽固性头痛40例,收到较为满意的效果。现就临床观察报道如下。临床资料40例头痛患者中,女性32例,男性8例;年龄18~45岁;病程3年以上者25例,4月至1年15例;最长5年,最短4月。其特点为:头痛反复发作,时轻时重,经久不愈,兼有头晕,脉沉或弦,舌质淡或暗。其中拍片示颈椎改变5例,脑电图轻度异常2例,经前期头痛加重5例,外伤引起2例。治疗方
期刊
随着我国对外开放水平的不断提高和“一带一路”建设的迫切需求,党中央高度重视人才引进工作,为响应习近平总书记提出的要“聚天下英才而用之”的号召,各地相继出台政策制度确保引进流程进一步规范化、简捷化,出台配套措施要保障对外籍人才的吸引力和可持续性发展。但“选人”“用人”和“留人”难的问题一直是制约地方高校引智工作的重要因素。本文借助数据分析了辽宁省属高校在外籍人才引进中面临的实际困难,从导向引领、侧重
期刊
<正>我国教育已经迎来了全新的改革,全面推行素质教育。但在过去的高中语文教学中,繁杂的语文课程导致教师教学手段一成不变,教学内容比较枯燥,课堂教学效率不高,学生也提不起学习语文的兴趣。所以,创新高中语文课堂教学手段显得格外重要,只有通过多样化的教学手段才能使学生保持对高中语文的学习兴趣,从而帮助学生提升语文水平,启发学生的思维能力,为未来的学习和生活提供坚实的基础。
期刊
<正>引言全球外籍人才情况概览外籍人才即具有外国国籍、在某一行业领域具有特殊造诣的专门人才1。外籍人才的流动,对于技术扩散、国际贸易、科技创新、文化创意等方面都具有重大意义2,与本国人才形成充分互补。1970-2020年,全球国际移民流动规模由0.8亿人增长至2.8亿人3(图1)。新冠肺炎疫情暴发后,全球移民流动有所放缓,很多外籍人士在综合考虑出入境政策、就业形势、医疗保障、家庭团聚等因素后,决定
期刊
<正>《幼儿园教育指导纲要(试行)》健康领域的目标中指出,“教师与家长要根据幼儿的需要建立科学的生活常规,培养幼儿良好的饮食、睡眠、盥洗、排泄等生活自理习惯。”当前大多家庭的孩子由爷爷奶奶抚养长大,由于溺爱的存在,导致大多幼儿生活自理能力较差,很多小班幼儿在入园以后难以适应幼儿园的生活和学习。因此,加强对孩子自理能力培养,帮助孩子逐渐养成生活自理的好习惯,势在必行。
期刊
在日常生活中,文本和图像是两种常见的承载信息的模态。随着人工智能和深度学习技术的发展和成熟,计算机模拟人类行为、从自然语言中生成图像的方法受到了广泛的关注。在生成对抗网络技术的研究与应用过程中,跨模态的文本到图像生成任务取得了一定的成果,但由于该任务结合了自然语言处理和计算机视觉等多个领域的技术,具有生成步骤复杂、挑战性高等特点,文本生成图像模型的性能需要进一步提升,尤其是生成图像的质量亟需提高。
学位