论文部分内容阅读
数字图像(视频)修复是通过从图像(视频)的完好区域提取有效信息,填补图像(视频)中丢失信息的过程。数字图像(视频)修复技术与复原技术不同,图像修复的目的不要求修复结果还原缺损图像的本来面目,而是要求修复结果保证良好的视觉观赏性,并且在观察者没有见过原图的情况下不能察觉出图像内容经过改动。相对图像的恢复、增强、去噪等技术,图像修复技术因为其在操作上具有高度的自由性并带有一定的娱乐性,在图像处理领域成为备受瞩目的应用技术。数字图像修复技术是数字图像处理的一个新兴领域,也是当前计算机视觉领域研究的一个热点问题。随着数字图像处理技术的不断进步,图像修复技术已经成为了文物保护、照片修复、特效制作、视频固化信息去除等应用领域中不可缺少的技术。由于图像的种类繁多,缺损区域的千差万别,所以修复的方法侧重点各有不同。相对于国外研究的蓬勃发展,国内在数字图像修复和数字视频修复领域中研究起步较晚,其理论及技术水平亟待提高。本文在介绍数字图像修复技术研究背景,深入分析现有图像修复方法的基础上,结合目前图像处理发展的最新理论,针对图像中的固化字幕信息的检测、小面积缺损图像修复、大面积缺损图像修复和视频修复等问题提出了一系列的新方法。本文的主要研究成果如下:1.字幕修复区域自动检测方法研究目前的图像以及视频修复方法都需要人工指定修复区域,而在各种图像和视频修复任务中,图像和视频中的文字去除一直是备受关注的应用,而手工标定所有的图像文字区域不但费时费力而且容易出错。为了自动定位图像和视频上的文字区域作为图像修复和视频修复的目标区域。本文提出了一种基于稀疏表示分类字典和多尺度几何分析的图像文字检测方法。这种方法首先通过多尺度几何分析得到图像文字的候选边缘,然后借助基于分类字典的稀疏表示完成文字的检测。一系列的实验验证了这种文字检测方法不仅能够准确的提取照片和视频中的人工字幕,为图像和视频修复提供高质量的修复目标区域;而且还能在各种复杂环境中提取嵌入场景之中的文字,不受文字颜色、大小、纹理、语言‘和光照强度的限制,具有较好的鲁棒性和较高地准确性。2.小面积缺损图像修复方法研究稀疏表示是图像处理和信号处理中的重要理论和重点研究方向,受到了国内外图像处理界的广泛关注。我们在现有稀疏表示图像修复框架的基础上提出了一种基于图像源区域字典的稀疏表示图像修复方法。利用图像源区域字典生成方便,并且能够携带目标图像信息的特点有效地克服了以往固定字典修复方法和机器学习字典修复方法的不足,使得稀疏表示图像修复方法的效果有了显著增强。而后针对现有图像修复方法无法高效地修复包含纹理的小面积缺损图像的问题,本文提出了结合各向同性扩散修复和稀疏表示修复的混合图像修复方法,首先充分考虑到扩散修复和基于图像源区域稀疏表示修复的互补性,通过简单而有效地纹理分析算法将待修复区域划分为光滑部分和复杂部分。然后使用各向同性扩散的修复方法修复光滑部分,用基于稀疏表示的修复方法修复复杂部分。最后将两种修复方法的修复结果结合起来得到最终的修复结果。理论分析和实验结果表明,混合修复方法无论在修复结果的观赏性或修复方法的处理速度上都要优于现有的扩散类图像修复算法。在这一章的最后我们分析了稀疏表示图像修复的局限性,即稀疏表示图像修复方法因为其求解误差的关系不适合大面积缺损图像的修复。3.大面积缺损图像修复方法研究在补全大面积缺损图像的问题中,保证缺损结构的完整性和一致性是得到良好修复结果的关键。在分析了现有基于纹理合成的图像修复方法容易产生结构误差的原因以及叙述了人类视觉在感知图像缺损和自动填充的机制之后,针对大面积缺损图像的修复问题,本文提出了一种基于图像缺损结构线补全的图像修复方法。不同于现有修复算法通过修复顺序来补全图像缺损结构的做法,该方法考虑了图像结构完整的重要性,充分利用缺损结构的信息来保证修复结果结构的完整性。首先通过多尺度几何分析找出缺损的结构线,然后根据缺损结构线的颜色、纹理和曲率信息将它们配对并通过曲线拟合加以补全。这样不仅保证了图像结构的完整性而且使得修复的结构有较好的视觉效果。此外考虑到修复的结构线将缺损区域分割成了几个子区域,在进行纹理修复时可以逐个地对每个子区域进行纹理填充,这样不但加快了处理速度,而且提高了纹理填充的质量。大量的修复结果和对比实验证明本文提出基于图像缺损结构线补全的图像修复方法比现有方法更好地保证了修复结果图像的完整性,并且修复结果有很高的视觉质量。4.视频修复方法研究视频修复是图像修复的延续,也是图像修复技术重要的研究和应用领域。针对视频修复中的不同应用本文提出了两种视频修复算法。一个是针对视频中的台标字幕等固化修复区域的基于三维泊松方程的视频修复方法;另一个是针对视频中的物体缺损的基于前景运动目标运动周期的视频修复方法。在三维泊松方程图像修复方法中,本文首先计算所有视频帧的梯度场,然后填补梯度场中的缺失信息,最后通过求解三维泊松方程完成视频修复,这样充分保证了修复视频在时间域上的连续性。在基于前景运动目标运动周期的视频修复方法中,本文对视频修复问题提出了一个观点,即视频修复技术应该是一种遮掩视频待修复区域的技术,因此视频修复技术可以根据实际需要在满足观察者视觉感官的同时对视频的部分内容进行编排和对视频帧的数量进行适当的变更。在这一观点的指导下,我们根据视频中完好的信息提取出前景目标运动的规律,然后依照运动的规律对视频的缺损部分的运动状态进行预测,最后根据这些预测完成视频缺损部分的修复。理论分析和实验证明我们的视频修复方法不但使修复结果自然并且有良好的视觉连续性,而且消耗的处理时间也少于现有方法。