论文部分内容阅读
图像翻译是将图像的一种表示场景转换成另一种场景的图像域变化任务,主要应用在交通、医疗和日常生活等多个方面,是计算机图像处理领域的研究热点之一。本文针对基于生成对抗网络的无监督图像翻译方法展开研究和改进,提高生成图像与输入图像的内容一致性、图像域一致性,增强翻译图像的翻译效果与真实性,具体内容如下:(1)研究单图像域无监督图像翻译方法。针对基于生成对抗网络的单图像域无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题,基于对偶学习提出了一种融合自注意力机制和相对鉴别的无监督图像翻译方法。在模型的生成器中引入自注意力机制加强图像生成过程中像素间远近距离的关联关系,在低、高卷积层间增加跳跃连接,降低无关图像域特征信息损失;在判别器中使用谱规范化防止因鉴别能力突变造成的梯度消失,增强训练过程中整体模型的稳定性。在损失函数中基于循环重构增加自我重构一致性约束条件,专注目标域的转变,设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈,完成单图像域的无监督图像翻译。实验验证了该方法提高了翻译图像的质量。(2)研究多图像域无监督图像翻译方法。针对基于生成对抗网络的多图像域无监督图像翻译中离散形式标签导致图像域表达形式多样性单一,以及判别器稳定性较差的问题,提出了一种融合类别标签与双尺度判别的无监督图像翻译方法。在模型的生成器中加入域控制器生成目标图像域样式信息,并采用自适应实例归一化与原图特征信息相结合来引导多图像域的图像翻译,增加翻译图像样式多样性;在判别器中增加分类结构,对图像域类别进行鉴定,并使用两个判别器分别对原图和缩放后图像进行真伪及类别判别来增强其稳定性,提高翻译图像质量。在损失函数中采用分类损失建立输入标签与输出图像的关联关系,设计相对铰链对抗损失指导生成器判别器对抗训练,完成多图像域无监督图像翻译。实验验证了该方法增强了图像域表达的多样性和翻译效果。