基于深度学习的图像生成古诗方法研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:skdjflskdj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
古诗是中华民族两千年多来思想、文化、精神、情感的一种艺术表现。随着新一轮人工智能及深度学习技术的发展,古诗自动生成研究近年来得到了相当多的关注,出现了大量的在线计算系统用于实现古诗的自动创作。现有的研究大多集中于给定关键词或者文本序列生成古诗。受图像描述最新进展的启发,从图像输入中生成古诗描述实现传统文化的数字化体验,将是一项有趣且极具挑战性的任务。这项任务作为一个跨模态问题包含多个挑战:从图像中获取意象信息、依据意象信息生成古诗、同时还需要考虑生成古诗的文学效果。基于上述挑战,本文依据图像信息的复杂程度,提出了两种针对不同图像输入的古诗生成方法。同时针对现有古诗生成模型中诗句语义连贯性弱化问题进行优化。本文的主要工作如下:(1)提出适用于单目标图像输入的图像古诗生成方法,建立单目标图像古诗生成模型。该模型通过控制行首词将图像和古诗联系起来,包含两个模块:图像关键词提取以及基于关键词的古诗生成。模型通过图像特征提取器获得图像的目标信息,将目标信息作为古诗的写作大纲,而后基于字符级循环神经网络逐行生成古诗。设计实验分析不同层数模型对实验结果有效性的影响。实验结果表明使用3层网络结构生成的古诗获得的认可度更高。同时,相比于七言诗句,模型在五言诗句上的效果表现更好。(2)针对单目标图像古诗生成模型只能识别单一目标信息的问题,提出适用于复杂图像输入的图像古诗生成方法,建立基于场景的图像生成古诗模型。考虑到场景信息在古诗创作中的重要性,模型在图像处理模块加入对图像场景信息的识别。模型通过两个图像特征提取器获得图像的目标信息和场景信息,并基于这些信息进行扩展,生成四个主题词用于指导后续古诗的生成。在古诗生成模块,采用基于注意力机制的编码-解码模型逐行生成古诗,并以主题词作为外部输入,每个主题词对应生成一行诗句。同时,针对现有研究中古诗前后连贯性较弱问题,模型当前行诗句的输出只与前两行诗句信息相关。设计图灵测试对模型进行有效性评估。(3)设计对比实验对单目标图像古诗生成模型和基于场景的图像古诗模型进行评估。对比实验从两个方面展开,其一是对古诗生成结果的对比分析,其二是对图像古诗生成模型的相关性进行对比分析。采用困惑度和人工打分作为评价指标。将上述两个模型生成的古诗与SMT模型、RNNPG模型、以及PPG模型生成的古诗进行对比。实验结果表明相比字符级循环网络结构,编码-解码框架在解决古诗生成问题时得到的结果更好。同时,相比于选择前文所有信息,选择前两行诗句作为参考信息更有利于生成效果较好的古诗。设计两个对比实验对上述两个模型的图像和古诗相关性进行评估。实验结果表明当输入图像的信息较为单一时,单目标图像古诗生成模型效果更好,当图像信息量增多时,基于场景的图像生成古诗模型经由两个图像特征提取器生成的古诗更贴合图像内容表达。
其他文献
党史学习教育开展以来,刘少奇同志纪念馆发挥自身资源优势,创新文化宣传形式,加强阵地软硬件建设,获得社会各界的广泛赞誉。今年截至5月31日,共接待来馆开展党史学习教育的党
车用燃料中的有机硫化物燃烧会生成SOx,从而导致大气污染并形成酸雨,直接危害人类健康和生态环境,我国先后实施了国Ⅲ-Ⅴ汽、柴油硫含量标准,将硫含量从≤150μg/g降低到了≤
公共理性是约翰·罗尔斯在20世纪末在他的《政治自由主义》一书中提出的一个重要思想,它主要是为公共领域中的公民提供一定的指导和探究原则。它的思想要义是平等的公民在对
深冷激光喷丸(Cryogenic Laser Peening,CLP)是一种超高应变率和超低温耦合条件下的表面形变强化技术,能够改善材料表层的微观组织与表面力学性能,从而抑制裂纹的萌生、扩展,
草莓是蔷薇科草莓属多年生草本植物,因其味美多汁,素有“水果皇后”之称。随着天津市都市型现代农业的发展和人们生活水平的提高,消费者对草莓的需求量和品质的要求也越来越
目的:本研究是通过对比聚甲基丙烯酸甲酯(PMMA)为载体的抗生素释放系统与医用硫酸钙(CSC)为载体的抗生素释放系统结合一期骨搬移技术在治疗胫骨慢性创伤性骨髓炎的临床疗效。方法:收集2015年2020年新疆维吾尔自治区人民医院与新疆军区总医院以聚甲基丙烯酸甲酯(PMMA)为载体的抗生素释放系统与医用硫酸钙(CSC)为载体的抗生素释放系统结合一期骨搬移技术治疗的胫骨慢性创伤性骨髓炎35例,所有患者均
作为混合动态系统中十分重要的一类,切换系统以其广泛的应用性而受到研究者的极大关注。近些年来,很多研究人员对切换系统进行多个方面的研究,并取得了大量与切换系统的能控
杂交水稻制种是杂交水稻大田生产的前提条件,盐城市气候条件优越,是我国最适宜开展两系杂交水稻制种的区域。从1976年国家大力推广杂交水稻开始,杂交水稻种子产业便落地盐城,
目的:探讨新疆地区心脏死亡后捐献(Donation after Cardiac Death,DCD)来源供体角膜的获取流程及行角膜移植的临床疗效及存在的问题。方法:回顾性研究,本文总结54名DCD捐献者的一般信息,收集接受DCD角膜移植的33名患者的临床资料并观察临床疗效,其中31名患者接受单眼角膜移植手术,2名患者接受双眼角膜移植手术,共35例。35例中有12例为飞秒辅助的角膜移植,23例为常规
金属-有机超分子组装体通常具有封闭的结构、有限可调的窗口、明确的内外部环境,通过包合客体分子,加快电子传递速率、控制电子转移途径、提高电荷分离效率,具有丰富的主客体