基于改进注意力机制的深度学习文本表示及分类

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:glad8888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅速发展,大数据时代的到来,各种终端产生海量的文本数据,其蕴含的丰富语义信息对社会各行各业的发展具有重要的价值。文本分类作为自然语言处理的基础和关键技术,通过对文本数据的预处理和类别划分,提取一种粗粒度的文本语义信息,具有广泛的现实应用前景。近年来,深度学习中的许多网络模型被证实在文本特征表示和文本分类效果上具有出色的性能。本文在分析研究卷积神经网络、循环神经网络和注意力机制的基础上,对注意力机制与神经网络结合的混合深度学习模型解决文本表示及分类问题进行了深入研究,针对文本全局表示上存在的缺陷,提出了一些改进方法,并取得了有效的成果。本文的主要研究工作如下:系统地介绍了文本分类的定义和一般过程,包括文本预处理、文本表示、特征降维以及常用分类方法。通过对各个步骤常用方法的研究及文本分类任务特点的分析,进一步指出传统文本分类方法存在的缺陷,为后续分类网络模型的设计奠定了基础。针对传统卷积神经网络中固定卷积核只能够提取固定尺寸语义特征,不能很好适应不同文本特征尺寸的问题,在卷积层之间采用密集连接代替传统连接方式,在复杂文本语义环境下能够自适应地提取多尺寸语义特征。通过全局深层注意力机制,加强局部特征与文本全局特征表达的联系,使得模型关注整个输入文本最重要的特征信息。实验证明,该模型提升了文本特征表示的质量以及文本分类的效果。针对循环神经网络是一种有偏模型,序列靠后的输入比先前的输入对结果的影响占更主要地位的问题,引入门控循环网络和注意力机制优化文本表示中序列的全局表示。通过对卷积特征提取方式的分析,提出一种多尺度卷积注意力与门控循环网络的隐含层状态加权结合的方法,得到语义特征的注意力分配表示,有效地突出序列中的关键语义信息。实验结果表示,该模型能够提升输入序列特征表示和文本分类的效果。
其他文献
人工选择进程极大提高了全球范围内小麦的产量。小麦选育和种植的最终目的就是优化群体产量,而通过单株株型进行高产品种的筛选(即系谱法)已成为小麦选育的主要手段,这需要育
近些年,“人工智能”也变成大众耳熟能详的名词,机器翻译、文本摘要等序列任务也得到广泛的应用。如今,在工业界以及学术界解决序列到序列问题的主流方法是采用序列到序列的
目的检测MAGE-A1、A2、A3在口腔黏膜异常增生中的去甲基化情况,分析三者去甲基化状态与口腔黏膜异常增生临床病理特征之间的关系,并进一步分析三者去甲基化状态与病理分级之间的相关性,为选择MAGE-A1A3作为口腔黏膜潜在恶变的标志物提供新的论据,也为口腔黏膜异常增生精准治疗提供新思路与新方法。方法收集20162018年内蒙古医科大附属医院口腔黏膜科与口腔颌面外科门诊病例53例,术后病理诊断明确
随着人口老龄化的加剧及人类日常生活便捷性需求的加深,在机场、商场等场合引入移动机器人减轻物力及人力成本显得愈发迫切。本文主要研究干扰场景下移动机器人对人体目标的
三支决策模型是由Yao Yiyu教授在粗糙集理论中引入贝叶斯风险决策概念和条件概率公式,对决策行为进行分析和归纳的一种代价敏感的决策学习方法。三支决策模型具有接受决策、
视觉目标跟踪能够解决目标的运动轨迹定位问题,现在已经广泛应用到智能安防,智慧交通,无人驾驶和生物医学等领域。大量尖端人才的涌现和多方资金的注入促进了视觉目标跟踪技
随着光纤通信技术的快速发展,LiNbO3电光调制器凭借自身低电压、低插损、高带宽以及复杂环境下稳定的工作性能,获得广泛应用。然而,LiNbO3电光调制器随着外加电场的漂移、复
大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)以其传输速率快、频谱利用率高、功耗低等优势引发了业界的高度关注。然而该技术仍然存在一些未能解决的技术难题,
三维模型的数量日渐增多,然而手动标注三维模型需要占用额外的人力资源,效率较低。基于人工设计特征的三维模型识别精度较低。虽然卷积网络在图像分类和目标检测等各种视觉应
这项研究将提供简单,容易,快速,低成本的实时激光对准模型,以手持式激光器,照相机,投影仪和个人计算机为硬件来测量管道直径。根据实验结果,这种方法将在学术研究以及处理日