基于信息融合生成对抗网络的跨域图像转换算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:andychinajj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化技术的快速发展,同类信息通过不同的呈现方式可以形成多种域的图像。这些不同域的图像信息互为补充,能够为人们的生活提供更丰富的视觉体验。因此,计算机视觉领域的研究人员对跨域图像转换算法进行了深入研究。跨域图像转换算法根据有无配对数据可分为有监督与无监督两种模式,每种方式都能够保证转换后信息的完整性,提升转换后图像的美观性。其中,基于生成对抗网络的跨域图像转换算法利用生成器与鉴别器互相博弈,最终达到纳什均衡的思想为这一领域带来了全新的解决思路,成为应用最为广泛的方法。因此,基于生成对抗网络的跨域图像转换算法已经成为计算机视觉领域的研究热点之一,具有重要的理论及实际意义。然而,该研究仍然存在以下两个重要挑战。(1)在有配对数据情况下,常规有监督转换算法没有考虑跨域图像间所含信息的差异以及不同映射范围下特征的差异,导致生成图像出现轮廓模糊、纹理粗糙以及上色虚假的问题。(2)在无配对数据情况下,大多数无监督转换算法只通过循环重建方式来优化整体模型,没有区分源域和目标域图像间的信息差异,导致二者的共享信息与独有信息杂糅,跨域图像的特征形态产生巨大差异。针对以上两个挑战,本文提出基于信息融合生成对抗网络的跨域图像转换算法来提升图像转换质量,主要研究内容及创新点包括:(1)从特征级信息融合考虑,本文提出基于并行融合与多尺度辨别的有监督跨域图像转换算法。首先,对于配对数据,有监督跨域图像转换算法通常忽略了跨域图像间的信息差异,导致生成图像出现轮廓模糊的现象。针对这一问题,本文提出一种并行特征融合生成器,采用双支路融合结构连接跨域图像。其中,主支路提取源域图像的深层特征并完成对目标域的特征转换,辅支路用于提取源域图像的轮廓信息,并通过跳跃连接方式与目标域特征结合,提升了整体图像的轮廓清晰度。其次,由于图像特征在不同映射范围下差异较大,只考虑单一尺寸特征的真实性作为鉴别结果会导致生成图像纹理粗糙。为了解决该问题,本文利用多尺度辨别的方式对生成图像的不同尺度特征进行综合辨别,以丰富图像的局部和全局纹理特征。另外,配对数据仅被用于与生成图像进行像素级约束,这种方式只能保证生成图像与其样式的相似性,并不能保证色彩的真实性。因此,本文提出颜色差异损失,利用高斯模糊卷积进一步强调图像色彩信息,提升了生成图像的真实性。该方法利用特征级信息融合的方式,在两个信息差异较大的跨域有监督数据集上都取得了良好的主客观评价指标与清晰真实的可视化结果。(2)从图像级信息融合考虑,本文提出基于语义协同形态感知的无监督跨域图像转换算法。在无配对数据情况下,无监督跨域图像转换算法常采用对称的两组生成对抗网络完成跨域图像转换,将不同域的信息杂糅得到生成图像。在目标级图像的无监督转换中容易出现前后景纹理混乱现象,影响生成图像的整体视觉效果。对此,本文提出一种纹理语义协同生成器,其中,独有纹理生成器提取目标域纹理信息,共有语义生成器提取源域语义信息。通过特征融合方式,将源域图像、纹理图像及语义图像三者结合,基于前后景分离思想融合得到生成图像。另外,由于无监督方式下不存在对应的配对图像,为了防止源域图像与生成图像的特征形态差异较大,本文提出形态感知损失对来自不同域图像的语义信息进行约束,增强网络对语义图像的整体感知力。该方法利用图像级信息融合的方式,在两个有监督数据集及四个无监督数据集上取得了纹理清晰、形态明确的可视化结果及良好的主客观评价指标。
其他文献
当今社会中,网络交流在日常生活中占据着重要地位,同时也带来了一系列的信息安全问题。为了防止网络中的恶意第三方假冒正常用户,通常需要进行身份认证,即通过一定的技术手段,对网络中的用户身份进行确认。身份认证方案的构造方法也很多,比如基于密码学知识的认证,基于生物学特征的认证等等,相比较而言,基于密码学上的困难问题构造身份认证方案的应用更加广泛。目前,大量身份认证方案的构建基于密码学里传统的困难问题,例
学位
云计算技术的发展为用户提供了诸多便利,使其在享有海量计算资源和存储资源的同时,极大地减少本地的开销。然而,由于云计算模式下数据所有权与管理权相分离的特点,用户将数据加密后外包成为了必然趋势。因此,如何实现云环境下对密文数据的高效检索成为了研究热点。可搜索加密技术作为实现高效加密数据检索的关键技术,受到了学术界和产业界的广泛关注。可搜索加密技术通常基于服务器诚实且好奇的模型设计,即假设服务器会忠实执
学位
双驱互联式电磁阀是一种采用双阀芯集成式串联布置的分步直动式电磁阀,适用于核电等诸多领域的介质通断控制。介绍了驱互联式电磁阀的结构组成、工作原理,并对该阀进行了应力分析。
期刊
综控结构化通用平台采用软件化飞行器测控的思想,解决现有飞行器测试中组件难复用、测试周期长和硬件耦合深的缺点。从功能角度来看,综控结构化通用平台涉及的各个功能模块采用低耦合高聚合的集成和支持策略,单个模块独立自主,各模块之间耦合度低,在保证功能完善性和可用性的前提下,同时又整合在一个平台之下使其具有规模性和效率性;从控制角度来讲,综控结构化通用平台对测控涉及到的各个流程进行规范化处理,整体流程具有一
学位
云计算和物联网的快速发展导致了数据量呈爆发式增长,越来越多的用户选择将数据外包给云服务提供商,减少数据的存储和管理成本。然而在云环境下,用户数据的管理权和所有权会产生分离,这会对用户存储在云端的数据造成威胁。具体来说,由于软硬件的故障或人为等因素的影响,云可能会错误地篡改或删除用户的数据。然而,用户本地并不存储外包数据,所以无法直接验证云端数据的完整性。因此,如何保障外包数据的完整性成为数据安全领
学位
随着互联网的高速发展,代码漏洞的数量和种类日益增加,这给软件系统安全和网络安全带来了极大威胁。漏洞检测技术可以为漏洞修复提供参考依据,有效规避代码漏洞带来的风险。传统的代码漏洞检测方法依赖于人工分析,检测成本较高。基于传统机器学习的代码漏洞检测方法只能获得代码的浅层特征,难以适应复杂的代码漏洞检测任务。深度学习技术能够学习样本的内在规律和深层次特征,从而自动化代码漏洞检测过程。目前,基于深度学习的
学位
云计算技术推动了社会的发展,解决了大数据时代数据用户存储资源不足的问题,但这种集中化的存储架构也导致了云服务器面临资源不足的困境。密态数据去重技术能够在保证用户数据隐私性的同时,根据数据的相似性检测并删除冗余副本,从源头上缓解数据爆炸式增长导致的云服务器资源不足的问题。因此,国内外学者对云计算环境下的密态数据去重技术进行了大量研究。密态数据去重可以分为服务器端去重和客户端去重,后者有效解决了服务器
学位
区块链作为数字资产的结算日志,能够帮助金融机构进行跨组织交易。金融机构通常采用明文的方式将交易信息记录在账本上供第三方审计机构进行审查和监督。然而,明文审计会泄漏参与机构的财务收支、交易策略等隐私信息,存在经济损失的潜在危险。现有的方案通常采用加密的方式对账本的隐私信息进行保护,但是该方式不支持账本信息的审计,导致了金融机构交易过程的可信度降低。如何在保护账本隐私的情况下审计交易的正确性和账本的完
学位
基于深度学习的实体关系抽取算法表现出较高的性能,但是现有算法通常假设待预测的关系是一个固定的集合,在使用一个固定的数据集对模型进行训练之后,就用该模型进行预测。然而,在真实场景中,往往会不断出现新的样本和关系,导致现有实体关系抽取算法面临灾难性遗忘的问题,即模型只能识别正在学习的样本中包含的关系,而遗忘从以前任务中学到的知识,最终导致模型在以前任务上的性能严重下降。因此如何提高实体关系抽取算法的实
学位
分布式计算平台Spark在大数据领域迅速发展,其内存计算的特性相较于其他大数据平台,减少了磁盘读取开销,缩短了数据处理时间,在机器学习、图像处理等大规模计算应用方面具有广阔的应用前景。国内外许多企业已将Spark平台应用在实际生产环境中,如亚马逊、阿里、华为等。但Spark平台的性能方面仍需提高,Spark的任务调度机制基于同构集群的理想化设计,导致异构集群中高性能节点的硬件优势未被充分利用,从而
学位