基于注意力机制的端到端问答系统的研究

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:daxian005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器往往比人脑能够存储更多的信息和知识,但人们却不能像人与人之间交流一样很方便地从机器中获取想要的知识和信息,这是由于机器不能很好地准确理解人类的语言,进而针对人类的提问进行合理而准确的回答,因此问答系统一直是自然语言处理和人工智能领域研究的热点。一个知识库充足且能理解人类语言并作出合理回应的问答系统是人们在追求认知智能中的重要目标。在自然语言处理领域所研究的问答系统中,系统的知识来源一般有两种,一是非结构化的文本信息,二是通常以三元组形式表达的结构化知识库。前者可以看作是阅读理解任务,系统需要对大量的文本进行处理,然后根据问题从文本中抽取答案。由于人类语言表达具有多样性,同一意思具有多种表达方式,因此海量的文本知识是非结构化的。后者表达知识的形式相对单一,高度结构化,便于问答系统检索答案甚至进行组合推理,然而其构建往往需要耗费较大的人力,因而所覆盖的知识面往往不及非结构化文本。本课题利用多种注意力机制,在问答系统中对非结构化文本和结构化知识库进行知识融合,综合利用非结构化文本知识覆盖面较广的优点和结构化知识库便于答案检索和推理的优点。本课题的主要研究工作如下:(1)本文分析了两种异构知识源的特点。为了能够综合非结构化文本和结构化知识库的优点,我们使用记忆网络中所蕴含的注意力机制对这两种知识源同时进行检索。实验表明其回答的准确率比仅使用单一知识源的模型准确率高。另外本文指出了原有记忆网络中记忆状态向量的更新不能很好地取舍信息的缺点,并通过门控函数来改进记忆状态向量中信息更新的方式,从而进一步提高了记忆网络模型综合利用两种异构知识源回答问题的准确率。(2)针对记忆网络对仅依靠记忆状态向量进行知识融合,导致其编码效果欠佳的问题,本文提出了注意力编码融合模型,使用改进的图注意力神经网络和自注意力编码,使得结构化知识库、问题和非结构化文本在编码过程中能够相互地进行信息的融合。最后通过Web QSP数据集上的实验表明,在编码过程中使用注意力机制有助于异构知识源的知识融合和提高回答的准确率。
其他文献
执行和解协议是否具有可诉性是一个老生常谈的问题,关于该问题在理论和司法实务界也一直存在争议。究其根本,第一是关于执行和解协议的性质没有形成统一的共识,无法为执行和
升力式再入飞行器是未来航空航天领域发展的一个重要方向。升力式飞行器再入过程中,速度高、航程远,需要承受的热、以及动压等约束较大,因此,对再入轨迹与制导方法提出了较高的要求,本文以升力式再入飞行器为研究对象,主要解决升力式飞行器再入在线轨迹规划与制导的关键技术难题。升力式飞行器再入过程的运动学模型以及相关约束的选择是再入轨迹规划与制导的基础。本文推导了升力式飞行器三自由度再入运动模型,对状态归一化后
机器视觉系统由硬件部分和软件部分构成,硬件主要包括工业相机、光源、光学镜头和图像采集系统。其中光学镜头的成像质量影响着最终获取图像的清晰度和分辨率。本文通过学习
高压扭转(HPT)是一种成功、有效的剧烈塑性变形(SPD)的方法,该工艺主要是利用施加高压和扭转产生剪切应变来细化材料的晶粒,使晶粒的尺寸减小至亚微米甚至是纳米级,从而提高了材料的物理性能和力学性能等。但高压扭转所制得样品的组织性能和厚度容易在径向及轴向上分布不均匀。本文在传统单向高压扭转工艺的基础上,提出反复高压扭转工艺,采用有限元模拟对该工艺进行仿真,并与单向高压扭转工艺进行对比分析,验证了反
增强现实(AR)是通过把计算机生成的虚拟信息利用视频显示设备无缝融入到用户观察看到的真实场景中,来丰富和提升人们视觉体验的技术,是人机交互方向产生出的一种新的重要方式。近些年其在科技博物馆、多媒体课堂等教学场合得到了广泛的应用,但大多数都是通过使用手持标识方式的AR技术来进行交互的,其限制性较强,普遍存在易用性与沉浸感差的缺点。因此,利用人来代替手持标识作为AR的输入将是未来人机交互的发展方向,尤
非负张量分解是非负矩阵分解的多线性扩展。它继承了非负矩阵分解“整体感知基于部分感知”的思想,能在非负张量数据中挖掘各个维度的潜在信息,更高效地进行降维及特征提取,
随着“互联网+”在交通运输行业的深入发展,网约车、定制公交、城际拼车、共享单车、共享汽车、交通新型支付等新业态不断进入出行领域,促使乘客使用交通的方式发生变化,即出
轨道几何不平顺检测系统进行轨道检测时,因车轮空转与打滑、检测速度、是否通过曲线、轨道表面清洁状况、钢轨磨损程度等复杂检测环境的影响,轨道检测数据不可避免产生里程偏差,导致波形错位,造成数据应用困难。因此,针对轨道检测数据存在里程偏差的问题,深入开展里程偏差修正研究,就成为一个重要的研究问题。为了实现里程偏差修正,里程偏差识别与修正就成为关键所在。以波形相似性作为切入点,利用不同通道数据使用相同里程
机车关键部位,存在许多细小部件,例如机车车底轴承盖上的螺栓。人工检查易疲劳且很难准确记录所有部件的正常状态和形式,容易发生漏检、错检造成严重后果。近年来,在铁路应用方面,基于二维图像的缺陷自动检测系统已经趋向成熟,但仍然存在一些无法逾越的问题,二维平面的检测更加依赖于设备本身的精确度,零件表面油污灰尘易造成遮挡。三维获取数据不仅可以记录物体表面的形态,几何特征,还可以获取空间坐标等信息,将其应用于
图像分类作为计算机视觉研究领域最经典的任务,近些年因为在医学成像精确分类、商品图片自动识别和色情暴力内容有效鉴别等现实应用场景中具有重要应用价值而受到广泛关注。