论文部分内容阅读
近年来,图像分享已经成为了互联网社交的主要渠道之一,例如,微博的日活用户达到了1.84亿,每天有超过1亿张照片通过微博进行上传和交换。而图片所需要的储存空间也随着手机等拍照设备的像素越来越大在快速增加。因此,图像压缩对于确保整个互联网的低成本存储和共享起着至关重要的作用。要尽量减少存储空间则需要大幅度降低编码比特率,然而传统的工程化的压缩算法在低码率下视觉效果不尽人意,出现模糊,块状甚至缺色。目前深度学习已经在处理目标检测、跟踪、分类等方向取得了很好的效果,有的甚至已经超过了传统的方法,然而在图像压缩方向,深度学习相关技术还没有被充分利用研究。2014年由Goodfellow等人提出的生成对抗网络由于其良好的拓展性和巧妙的弱监督学习模式,在图像生成、超分辨率等方面给我们带来了全新的思路。本文将利用深度学习和对抗生成网络在图像处理、图像生成方面的优点,对低码率(低于1bpp)甚至超低码率(低于0.1bpp)下图像的压缩质量的提升展开深入研究。首先,本文设计了基于卷积神经网络的包含编码端和解码端的自编码器。在编码端,原始图像通过卷积层逐步降低图像的空间尺度,得到图像特征,再通过量化器减少图像中的信息冗余,形成用于传输的比特流,达到图像压缩的目的;在解码端,将比特流重新编码,通过卷积层逐步将尺度恢复和纹理生成,最终重建出图像。在此基础上,本文还设计了一种多尺度“先验”机制,通过级联网络从粗到细地进行重建,每个尺度产生的压缩表示的熵作为“先验”加入到率失真目标函数中,来提升率失真性能。实验表明了多尺度“先验”机制的效果,而且在低码率下,我们的方法不仅超过了一些主流的基于深度学习的图像压缩算法,也超越了传统的图像压缩方法。然后本文针对超低码率下图像模糊,纹理过度平滑,主观视觉效果不佳且客观评价指标完全失效的情况,提出了引入基于对抗生成网络的对抗性损失函数和一种更接近于感知相似度的损失函数来做“率-失真”优化。模型架构上,在承接我们提出的多尺度自编码器的基础上,我们加入了多尺度鉴别器来进行端到端的训练。实验表明在超低码率下,我们的方法重建的图像在主观质量上明显好于目前公认的性能最佳的传统图像压缩方法得到的重建图像。