一种基于生成对抗网络的文本生成图像方法

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:yushu522216869
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的发展,文本生成图像越来越引起人们的广泛关注,它主要实现的功能是将文本描述中的语义关系通过相关图像还原技术生成语义相关的图像。近年来,越来越多的生成对抗网络模型被提出,在文本生成图像方面取得了越来越好的效果,基于生成对抗网络模型的文本生成图像已经成为深度学习领域的研究热点之一。生成对抗网络的架构由生成器和判别器两种结构组成,它们二者共同决定了文本生成图像模型的各种性能,其中判别器使用卷积网络对图像特征进行提取,而卷积网络在考虑底层对象之间的空间关系和提取远距离的像素特征方面具有很大的局限性,因此,本文主要做了如下两方面的工作:1.针对生成对抗模型中的判别器使用卷积网络提取图像特征导致无法考虑到底层对象之间的空间关系的问题,提出了将判别器中的卷积网络替换为胶囊网络的思路。首先使用生成器将全局向量进行还原,即解耦,便能得到生成图像;接着将(正确文本,正确图像)、(错误文本、正确图像)和(正确文本,生成图像)三种类型作为判别器的输入,首先经过初级胶囊层对特征向量进行组合,然后经过第二胶囊层对文本向量和图像向量的匹配度进行判断,对得到的向量求它的模值,模值越大,表示匹配度越高;最后,经过博弈过程,判别器和生成器达到最优后,将文本描述输入生成器来生成图片。通过实验分析和结果表明,该方法能有效提高生成样本的多样性,同时它也能使得真实图像的数据分布和生成图像的数据分布之间的距离变小,从而使生成的图像更逼近真实图像的分布。2.针对生成对抗网络模型中文本生成的图像的特征单一性的问题,本文同时将注意力机制引入到生成器和判别器来解决此难题。该模型对判别器和生成器的结构进行了改进,主要是改进了二者的损失函数的同时将注意力机制融合进生成器和判别器中,使得模型能够生成质量更好的图像样本。通过实验分析和理论证明,该方法有效提高了生成样本的多样性和质量,也使得生成图像更符合人类的视角。
其他文献
2018年9月21日,习近平总书记在中共中央政治局就实施乡村振兴战略进行集体学习时强调指出,要突出抓好农民合作社和家庭农场两类农业经营主体发展。2020年中央一号文件指出:“
日本近代作家川端康成于第二次世界大战期间与战后,在远离俗世的“雪国”——一个纯粹、温和的乌托邦世界,构筑了具有日本传统美的故事。无独有偶,中国近代作家沈从文选择远
互联网以其庞大的业绩规模、飞速发展速度、超强渗透能力,已经成为中国乃至世界经济发展的重要驱动力。作为中国新经济的趋势和代表,电子商务依托互联网为平台,其营销模式与线下实体店铺有很大不同。因此,原始收入准则的局限性逐渐的凸显出来。存在着收入确认和传统会计收入确认方式不一致,确认标准不统一等问题,严重的影响了企业的会计核算和业绩评价,如何进行科学的确认和计量,保证会计账面收入与实际收入相符合,已经被提
微信平台的头部媒体凭借其超大流量、置顶地位、精品内容、二次乃至多次传播直接或间接对受众产生影响。然而,抖音等短视频平台的兴起,瓜分大量流量,微信平台自身的监管体制
人口老龄化已经成为全球诸多国家或地区不可逆转的社会现状,人们在应对老龄化的过程中积极探索各种养老服务模式,希望能够缓解这一人口难题对整个社会经济发展带来的挑战。在
随着社会的高速发展和人们生活水平的提高,物质诱惑对当今消费者来说越发难以抵御,过度肥胖等现象越发普遍,对社会和个人都造成了严重影响。这类行为往往与消费者自我调节行
新能源汽车产业是目前国内大力扶持的战略性新兴产业,为我国在汽车产业实现弯道超车提供了机会,其在节能环保上的优势也让其成为汽车产业未来的发展方向。新能源汽车产业正处
自新时期以来,“重写电影史”的口号愈来愈强烈,引起了广大电影学者的关注,研究者们试图以一种新的思维和角度去重新建构中国电影史,以期拨开中国电影史真实面貌前的重重迷雾,寻求更多建构中国电影主体叙述的可能性。在此学术背景之下,越来越多的学者将目光跳脱出上海之外,引发了“沪外电影”研究的新热潮,“地域电影研究”也因此成为目前电影史研究的重要方向之一。开封地处中原地区,自古以来是多个朝代的政治、经济、文化
在城镇化发展过程中,农村人口大量涌入城市,农业和农村面临着土地弃耕、劳动力短缺、农村空心化等问题。在此背景下,党中央适时制定“乡村振兴战略”,致力于改善农业生产环境
移动互联网改变了政府信息传播的格局,给政府优化社会服务和社会治理的带来了新的机会。近年来随着微信用户数量的不断增加,政务微信已经成为了政民互动、提升政府公共服务效