基于Attention机制的文本摘要研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:yanqingkuiyan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据的来临,信息数据出现爆炸式增长,网络时代每天产生数以亿计的数据和信息,因此人类不可避免的面临信息过载这一问题.其中归因于自媒体等传播途径的普及,使得文本信息越来越多.如何从杂乱绵长的文本中摘要出简短的主旨,即自动文本摘要的研究,对于人们能够快速、准确地从海量文本数据中获取到有效信息有着重大的意义.是通过生成一段简练的文字来高度概括原文信息的技术.要将长文本转换为短的摘要内容,需要通过seq2seq框架将原始输入编码成一个语义向量,并对该语义向量解码生成输出.本文对于编码部分使用双向LSTM神经网络,解码部分使用单向LSTM神经网络.但是长文本序列仅依靠一个语义编码是不足以表示全部文本信息的,因此引入attention机制,并在此基础上对模型进行改进.具体改进为使用TextRank算法结合句子的位置特征和新颖性计算出每个句子的重要性得分,选出得分最高的TOP-K个句子作为输入序列.并放弃了传统的通过attention回顾全部文本的做法,让attention仅关注局部信息,从而将注意力集中在对齐位置周围.通过这种方式减少噪声和计算时间,提高摘要的准确度.最后设计实验并进行结果分析.对实验数据进行了介绍和处理,设计了两个对比实验,并分别选用word-based和char-based两种方式构建输入序列的词向量表达.通过ROUGE-1,ROUGE-2两个指标对生成摘要的质量进行评价,对比实验结果验证模型的可行性.
其他文献
1984年奥运会在申办过程中由于财政困难陷入危机,一个以征集赞助商、出让电视转播权和高价销售门票为筹资渠道的TOP商业计划大获成功,一举扭转了奥运会的命运。自此之后,奥林
广东省河源市的高等教育发展远远落后于当地民众和社会的需求,亟需进行供给侧结构性改革。河源市高等教育呈现供给数量不足、质量一般和结构失衡状态,原因既有经济的也有理念
建立双阴极微生物燃料电池产电装置,研究了装置物化作用下对厌氧阳极氨损失的影响。结果表明部分铵根离子能透过质子交换膜。此外,好氧池曝气使阴极附近的局部pH升高使得铵根离
用奇农素,农用链霉素,硫酸铜,用食醋发泡溶化,加水喷施和灌根。喷施三日后可见芽,叶和果外形光泽有变化。显著脱毒(毒素和病毒),防治所有病毒病,特别是对已感染的很难防治的花叶病毒病
期刊
文章剖析了我国司法机关监督行业协会管理权的现状,在此基础上分析了确立行业协会行政诉讼被告资格问题、司法审查的原则以及审查的范围、方式与判决形式问题。 The article
防治肿瘤转移是目前肿瘤领域研究的热点,其中改善转移前"土壤"倍受关注。转移前微环境的中医理论及治疗策略仍不完善,结合现代医学研究成果及医疗实践,深入研究转移前环境形成
<正>小卫星成为航天发展的热点当前全球范围内,以信息化为主要特征的新型作战模式强调力量资源集成,注重作战行动协调,驱动军事航天发展开始转型,使得小卫星获得广泛军事应用
随着社会主义市场经济体制的确立,中国刑法的法律价值也随之相应变化,刑法的谦抑性价值在我国刑事法律体系中也得到越来越多的体现。检察机关作为我国刑事法律关系的主体之一,如
本文详细介绍了不同体系的ZnO低压压敏电阻材料特点及各自的局限性,并且对ZnO压敏电阻向低压化发展趋势下出现的材料低温烧结技术进行了评述.最后在总结以往研究的基础上提出
有专业机构调查数据显示,在国内整个包装饮用水领域内,高端水的市场占比约为10%,近两年市场增速一度达到80%,预计今年,高端水的市场空间有望超过100亿元。前景日益广阔的高端
报纸