基于深度学习的机器写作研究

来源 :上海师范大学 | 被引量 : 0次 | 上传用户:laowu000001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
写作是根据输入的论文标题实现论文摘要写作的一种辅助技术,使人类能够更有效、更专业的撰写论文摘要。目前,针对论文摘要写作任务,神经网络通过对大量文本语料的学习可以提取到更具有鲁棒性特征的模型,这类网络虽然实现了良好的效果,但仍然存在着非常大的挑战,其中包括模型输入语料处理存在误差、模型性能的误差等。因此,为了解决以上问题也促进了论文摘要写作技术在机器写作领域的快速发展。本文针对论文摘要写作任务中存在的问题如:循环神经网络不能准确的传达原始信息,主题信息不足导致机器学习难度加大,论文摘要未充分利用,中英文语料研究的差异性以及中文语料具有实际的研究价值,但未曾对中文语料进行研究等问题。分别在提升循环神经网络序列模型性能及优化模型搜索能力层面提出系列解决方案,主要从以下几个方面展开研究:第一,针对循环神经网络不能准确的传达原始信息的问题,提出主题增强机制,并与注意力机制相结合的Seq2Seq模型以增强原始信息的传达。本文利用人类写作时主题重现的习性特征,从主题词汇概率分布和词汇表概率分布两个维度出发,在每一时刻解码生成摘要词汇时,使用主题增强权重对主题词汇概率和词汇表概率进行加权求和以动态调整预测词概率,缓解了主题词未出现在摘要中的问题,从而增强原始信息传达。通过对中英文语料进行实验表明,本文提出的主题增强模型相较于典型的序列模型能明显提升模型性能评分。第二,针对循环神经网络主题信息不足导致机器学习难度加大的问题,本文提出在融入软注意力机制的基础上,通过多模型融合技术,将主题增强机制与编辑机制相融合的Seq2Seq模型,从而获取更多的主题信息。本文利用人类写作时编辑的习性特征,在主题增强机制的基础上,生成摘要的过程中,不断从先前产生的摘要中获取更多的主题信息,用于当前时刻摘要的生成。实验结果表明,本文提出的神经网络模型相较于现有的序列模型,在METEOR以及ROUGE_L上的平均得分分别提高了2.75和2.2个百分点。第三,针对论文摘要未充分利用的问题,本文提出基于主题增强门控中结合标题词汇和摘要词汇的方法。在每一步的生成过程中,将前一版本摘要词汇引入主题增强门控中,按照一定的权重,将标题词汇注意力权重分布和摘要词汇注意力权重分布结合,将结合后的词汇分布作为主题信息概率分布,以更新当前时刻预测词汇概率分布。实验结果表明,本文提出的方法针对论文摘要写作任务相比于目前多种先进的机器写作文本生成方法的性能更高,模型评估结果更好。第四,针对中英文语料研究具有差异以及中文语料具有实际的研究价值,但未曾对中文语料进行研究的问题。本文根据中英文语料预处理方式的差异,研究中文语料中最小文本处理单元对本文提出的几种模型性能产生的影响,通过分析词语级与汉字级文本处理单元的优缺点,提出采用pytorch框架和GPU加速,实现softmax内部使用矩阵和张量运算,使汉字级文本处理相较于词语级文本处理获得更好的论文摘要写作性能。
其他文献
<正> 妇女怀孕后,阴血不足,阴虚火旺煎耗胎元;脾胃虚弱,生化匮乏;或素体肾虚,无力载胎养胎;以及感受六淫、伤及七情等,均能影响胎儿正常生长发育,而致胎漏、胎动不安、坠胎、
从上世纪80年代开始,我国改革开放进程持续加快,市场经济发展日新月异,城市加速建设,房地产行业的疯狂增长,引领着中国电梯整机及电梯配件的市场迅速扩大,有效促进国民经济持
社会经济地位会对人口健康产生影响已经毋庸置疑,但是对健康影响机制的研究仍有许多待解决的问题,而这直接关系到政策的可操作性。对近年来西方学者所做的社会经济地位对人口
食品安全监管国际软法因能弥补相关硬法的缺陷,而为国际社会所关注和重视,并成为食品安全监管领域的主要治理形式。现有的食品安全监管国际软法在监管标准、主体、方式和路径
目的:观察尿干化学法联合尿沉渣法检测尿路感染的效果。方法:选择80例疑似尿路感染患者,采集尿液样本后,分别进行尿干化学法检测、尿沉渣法单独检测,以及两种方法联合检测,以定
拜读了《中国中药杂志》1989年第3期载文《柝黄芩、白术安胎说》之后,对宋传荣同志:“白术、黄芩之所以安胎,是因其除湿热之效,只适用于湿热胎动不安之证,并无直接安 After
目的了解凉山州含密封源仪表工作场所辐射水平、放射防护情况,探讨在新的监管变化情况下如何加强对含密封源仪表工作单位的监督管理。方法调查凉山州含密封源仪表单位监督管理
我国自开展医保改革以来,医保支付方式改革一直是医保改革的重点内容。随着医药卫生体制改革的全面展开,“三医联动”对医保支付方式改革提出新要求。目前,河北省医保制度基本实现全覆盖,参保问题已得到基本解决,但是医保参保者诉求也随之发生变化,高质量、高水平的优质医疗服务是其所希望获得的。未来医保支付方式改革目标是以按病种付费为主多元复合医保支付方式,从侧重强调医疗费用控制转变为以费用控制为基础提升医疗服务
政府在闭环供应链的形成和运作过程中扮演着极为重要的角色。为了研究政府的回收条例对双渠道营销闭环供应链的影响,构建了条例出台前、后闭环供应链的决策模型,并以集中决策
建筑给水排水工程是给水排水工程专业的专业主干课之一,是一门很实用的课程。文章就如何提高建筑给水排水工程教学质量,提出了几点想法。从教师的水平、教学方法、培养学生的