基于注意力机制的文本分类研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:MyFairy83
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术和互联网的飞速发展,各种以文本为载体的信息在博客、微博、新闻等各种媒介上层出不穷。为了更好地利用这些信息,文本分类技术成为了人们关注和研究的热点。本文通过对注意力机制和语义信息的深入研究,提出了基于自注意力机制的文本分类模型SAN、基于多维自注意力机制的文本分类模型MSAN、基于语义的HAN模型SHAN和基于语义的自注意力机制文本分类模型SSAN,提升了文本分类准确率。首先,本文深入分析了文本分类模型HAN,又探讨了各种注意力机制,然后结合了双层句子-文本框架和具有强大信息提取能力的自注意力机制,提出了基于自注意力机制的文本分类模型(SAN)和多维自注意力机制的文本分类模型(MSAN);同时,在HAN和SAN模型的基础上,进一步分析了文本的低层语义中可能蕴含的有效信息,本文提出了基于语义的HAN模型(SHAN)和基于语义的自注意力机制文本分类模型(SSAN)。在验证了模型性能的同时,又对词向量初始化和序列信息的作用进行了实验探索。最终,在20Newsgroups英文数据集上,四个模型分别取得了75.4%、75.3%、74.8%、75.3%的分类正确率,均超过HAN的74.2%和LEAM的74.2%;在复旦新闻中文数据集上,四个模型分别取得了95.7%、95.8%、96.0%、95.9%的分类正确率,均超过HAN的95.1%和LEAM的95.0%。在用不同初始化的词向量实验中,证明了预训练的词向量相比随机初始化的词向量能够大幅度提高文本分类模型的性能;在序列信息的实验中,证明了加入序列信息能够提升文本分类模型的一些性能,且自注意力机制相比于基于RNN的网络结构更加稳定。
其他文献
目的   对各类延迟愈合的胸部伤口的非手术处理经验进行总结探讨。方法 按伤口原因和病理分类 ,分别给予不同的综合处理 ,对愈合过程进行分组分析。结果  80 .72 %的胸部
摘要院办好继续教育是影响全局的国家意志.转型升级是办好继续教育的必然选择.提高质量是继续教育转型升级的核心目标.继续教育转型升级要打“组合拳”:自觉地融入终身学习时
酒店和OTA之间的博弈,近年来似乎一直就没停止过。在万豪将原来美国、加拿大、加勒比等地区的提前24小时取消预订修改为需要提前48小时取消预订后,希尔顿等酒店集团也纷纷效仿
报纸
社会的发展中事业单位做出了巨大贡献,事业单位通过为人民群众提供公共产品、为社会服务,促进了和谐社会的构建及发展,是我国经济市场上不可分割的一部分。不过随着我国市场
介绍了红火蚁在广东省连平县的发生概况、当地开展的疫情普查和防控工作,以及防控工作取得的成效。从2006年9月至2009年3月,经对红火蚁发生区多次、多点监测,以及多次对发生
目的 探讨用血管内皮生长因子 (vascular endothelial growth factor,VEGF)基因转染治疗大面积软组织缺损和骨质外露的方法。方法 将重组质粒 pCD- hVEGF165 200μ g吸附于
通过系统梳理中国土地隐形市场的生发途径并从制度视角探寻其形成机理,分析认为土地隐形市场根源于土地征购市场和一级市场的政府双层垄断性、国家最终所有的模糊性产权结构
公共话语模因是社会公共领域内流传的语言模因。模因宿主在元信息的基础上通过模仿、复制,从公共话语的各个层面表征出各种各样变体。在元信息基础上的模仿可以分别是话语在
市场经济对高校的冲击,大学生体育经济行为不可避免,对有着较高文化修养、活跃思维方式和强烈主体意识的大学生,作为体育运动开展的主要群体,其体育消费结构与消费水平值得经济学
黑龙江省科技型中小企业在国家的大力扶持之下迅速发展,已经成为黑龙江省经济增长的重要组成部分,但是随着其快速的发展,很多问题逐渐显露,渠道冲突问题便是其中之一。虽然国