论文部分内容阅读
摘 要:针对日常生活中单张图片清晰度不够的问题,提出了基于GAN的超分辨率的重建的算法。由图片效果可看出SRGAN优于SRCNN,在一定程度上可解决SRCNN过于平滑的问题,以低成本给日常视觉带来享受,可靠,有效。
关键词:超分辨率;生成式对抗网络;卷积网络;损失函数
引 言
超分辨率重建是指通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。其核心思想就是用一次次的填充来获得整体空间感,实现时间向空间的转换。
1生成器
1.1.1 残差
假设我们想要找一个x,使f(x)=b,给定一个x的估计值x0残差就是b?f(x0),误差就是x-x0。
1.1.2 残差块
残差块的组成如图所示:
x表示输入,F(x)表示残差块在第二层激活函数之前的输出,即 F(x)=W2σ(W1x),其中W1和W2表示第一层和第二层的权重,σ表示ReLU 激活函数。最后残差块的输出是σ(F(x)+x)。
1.2判别器
VGG19的作用是图像识别。其本质是卷积神经网络,通过反复的使用3*3的小型卷积和2*2的最大池化层,探索卷积神经网络的深度与其性能之间的关系。
1.3损失函数
内容损失函数选择基于均方误差的损失的损失函数:
对抗损失函数选择VGG模型的损失函数:
2 SRGAN训练过程和成果分析
2.1 训练流程
流程应为:
2.2算法分析
我们的目标函数为:
我们先定D的值,让G取值让公式先达到最小值,然后固定G,最大化公式,取得D的值。
故将公式表达为:
因为要比对真画与假画相似程度,用KL散度,其值越小,差距越小,即越能以假乱真。
我们从真画里取一些真画x1,x2,…,xm,可得这几个样本的数据似然是:
将问题转化为找θ最大化这个似然。
采取取对数形式,累乘转化成累加,最大化累加值,又可转化为求其期望值来最大化公式。而期望可以展开为在x上的积分形式∫Pdata(x)logPG(x;θ)dx,加减一个常数不会影响函数的整体性质,可添加∫Pdata(x)logPdata(x)dx,对其求KL散度
我们刚刚可知:
在G 給定的,Pdata(x)与PG(x)都可以看作是常数,可分别用a,b来表示,这样我们就可以得到如下的式子:
上述过程是对式子进行简化后求导,得到关于D的公式。
当PG=Pdata时将其带入公式可得:
这意味着生成器和判别器处在一个平衡态,判别器分辨不出Pdata和PG的区别,即判断样本来自Pdata和PG 的概率都为 0.5。基于这一观点,证明了G就是极小极大博弈的解。
2.3 成果分析
可明显看出分辨率的提高。但同时也可看出GAN较为不可控,模型过于自由,会出现较为突兀的颜色。在训练过程中,算法与小程序的连接处较棘手,这也将成为我们接下来要解决的问题。
3 结 语
对与单张图片的分辨率提出的算法综合客观指标和主观视觉效果因素要优于SRCNN算法,充分说明了本文算法的适 用性。下一步的研究工作将探寻快捷高效省时的算法改进以便重建高质量的。
参考文献:
[1]王飞跃.生成式对抗网络的现状与展望[J].中国计算机学会通讯,第 11期第13卷2017,11(13):34-39.
[2]张良培,沈焕锋,张洪艳.图像超分辨率重建[M],北京:科学出版社,2012:52-55.
关键词:超分辨率;生成式对抗网络;卷积网络;损失函数
引 言
超分辨率重建是指通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。其核心思想就是用一次次的填充来获得整体空间感,实现时间向空间的转换。
1生成器
1.1.1 残差
假设我们想要找一个x,使f(x)=b,给定一个x的估计值x0残差就是b?f(x0),误差就是x-x0。
1.1.2 残差块
残差块的组成如图所示:
x表示输入,F(x)表示残差块在第二层激活函数之前的输出,即 F(x)=W2σ(W1x),其中W1和W2表示第一层和第二层的权重,σ表示ReLU 激活函数。最后残差块的输出是σ(F(x)+x)。
1.2判别器
VGG19的作用是图像识别。其本质是卷积神经网络,通过反复的使用3*3的小型卷积和2*2的最大池化层,探索卷积神经网络的深度与其性能之间的关系。
1.3损失函数
内容损失函数选择基于均方误差的损失的损失函数:
对抗损失函数选择VGG模型的损失函数:
2 SRGAN训练过程和成果分析
2.1 训练流程
流程应为:
2.2算法分析
我们的目标函数为:
我们先定D的值,让G取值让公式先达到最小值,然后固定G,最大化公式,取得D的值。
故将公式表达为:
因为要比对真画与假画相似程度,用KL散度,其值越小,差距越小,即越能以假乱真。
我们从真画里取一些真画x1,x2,…,xm,可得这几个样本的数据似然是:
将问题转化为找θ最大化这个似然。
采取取对数形式,累乘转化成累加,最大化累加值,又可转化为求其期望值来最大化公式。而期望可以展开为在x上的积分形式∫Pdata(x)logPG(x;θ)dx,加减一个常数不会影响函数的整体性质,可添加∫Pdata(x)logPdata(x)dx,对其求KL散度
我们刚刚可知:
在G 給定的,Pdata(x)与PG(x)都可以看作是常数,可分别用a,b来表示,这样我们就可以得到如下的式子:
上述过程是对式子进行简化后求导,得到关于D的公式。
当PG=Pdata时将其带入公式可得:
这意味着生成器和判别器处在一个平衡态,判别器分辨不出Pdata和PG的区别,即判断样本来自Pdata和PG 的概率都为 0.5。基于这一观点,证明了G就是极小极大博弈的解。
2.3 成果分析
可明显看出分辨率的提高。但同时也可看出GAN较为不可控,模型过于自由,会出现较为突兀的颜色。在训练过程中,算法与小程序的连接处较棘手,这也将成为我们接下来要解决的问题。
3 结 语
对与单张图片的分辨率提出的算法综合客观指标和主观视觉效果因素要优于SRCNN算法,充分说明了本文算法的适 用性。下一步的研究工作将探寻快捷高效省时的算法改进以便重建高质量的。
参考文献:
[1]王飞跃.生成式对抗网络的现状与展望[J].中国计算机学会通讯,第 11期第13卷2017,11(13):34-39.
[2]张良培,沈焕锋,张洪艳.图像超分辨率重建[M],北京:科学出版社,2012:52-55.