论文部分内容阅读
数字图像修复技术用于艺术品复原以来,该技术得到了学术界和工业界的广泛关注,已成为图像处理领域的研究热点之一,在艺术品复原、影视特技、信息传输纠错、视频修复等方面具有广阔的应用前景。目前提出的图像修复方法数量较多,其中Criminisi提出的样本块技术,因其修复过程简单、填补效果好、能同时修复纹理和结构,已成为一种经典的方法。但是该方法也存在优先权计算不合理、样本块搜索耗时、样本块的匹配不准确、填补后出现块效应等问题,尽管有些学者对其不断进行改进,仍然还存在着优先权获取不准确、样本块匹配约束性不足、样本块遍历范围小、候选块挑选不理想、块效应处理比较简单、对多分辨率图像的资源利用不充分等问题,因此,还需要更进一步探究。本文以Criminisi提出的样本块技术为修复主框架,在其基础上进行了一系列优化:用多分辨率图像特征获取更精确的优先权;加入梯度或边界约束,提高样本块最优匹配;缩小遍历范围且采取并行搜索,以减少时间消耗;利用图割技术消减块效应;兼顾纹理和结构内容更准确获取样本块大小;应用多分辨率图像逐层引导修复,达到全局和局部填补的一致性;充分利用多分辨率图像资源优选更合适的样本块;在深度卷积生成对抗网络中加入梯度约束,提升语义修复质量。通过对以上问题的深入研究并进行实验分析,我们提出的改进的样本块修复技术在一定程度上能提高图像修复质量和效率。主要工作如下:(1)提出了基于样本块尺度自适应选择的图像修复方法。图像中的噪声点影响梯度值,进而使数据项的获取产生误差,导致得到的优先权值不准确,引起修复次序出错。我们利用三层不同分辨率图像的特征得到数据项,增强了数据项计算的稳定性。以纹理库图像Brodatz作为分析对象,提取24个特征值训练神经网络,预测纹理样本块的大小;通过提取结构张量特征值,进而确定结构项,再拟合得到结构样本块的大小;由这两种样本块尺寸共同确定最佳样本块的大小。实验发现,在7×7至17×17之间挑选样本块的大小比较合适。通过对结构和纹理图像的实验分析,表明该技术具有很好的修复能力。(2)提出了基于整体引导式分层图像修复算法。根据图像尺寸和样本块大小自动计算图像分解的层数;将图像分解为多分辨率图像后,先实施顶层修复,再逐步利用各层修复的结果引导下层修复。整体引导使得下层图像的修复具有先前的引导信息,从而使各层的样本块匹配更加准确;在其它层(除顶层外)的修复中加入梯度距离搜索相似样本块,使选取的样本块更准确。实验表明,在修复具有简单纹理和结构的图像时,该方法可以取得满意的修复效果。(3)提出了基于筛网型引导式分层图像修复方法。采用整体引导式方法修复比较复杂的纹理区域时,因采取上采样操作,图像会出现一定的模糊性。为解决此问题,提出了筛网型引导式修复方法。在顶层修复后,上采样通过隔行隔列的0填补,只使用部分信息引导下层修复,与整体引导式修复算法相比,筛网型引导式方法可以去除模糊带来的副作用。由于图像中可能存在旋转或翻转的样本资源,考虑在多种旋转和翻转情况下进行搜索,使得图像的搜索更加精确。通过当前层和其上层图像获取其它层(除顶层外)图像的数据项,得到的优先权值更合理。存在多个候选样本块时,利用SSIM(Structural Similarity Index Measurement)进行筛选,以挑选出更相似的样本块。(4)提出了基于多分辨率图像特征和图割技术相结合的图像修复方法。将图像分解后得到多个不同尺度的图像,扩展了图像的样本资源,搜索这些资源可以找到更加相似的样本块。为了加快图像的搜索速度,在填补块周围进行搜索,减小搜索的范围。加入SSIM评价筛选样本块,同时用图割技术消减填补产生的块效应。实验验证了该图像修复技术的有效性。(5)提出了基于深度卷积生成对抗网络的图像修复方法。用基于样本块的技术修复图像时,在样本资源不足的情况下,无法找到合适的样本块,从而导致修复不能满足要求。为解决这个问题,采用DCGAN(Deep Convolutional Generative Adversarial Network)网络结构,在填补区域的周围加入梯度损失约束促使填补结果更符合视觉一致性。该方法具有语义修复的能力,将其与传统的图像修复方法和其它深度神经网络相比,实验结果表明了该方法具有不错的修复效果。