基于多分辨率技术的图像修复方法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:jz1120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字图像修复技术用于艺术品复原以来,该技术得到了学术界和工业界的广泛关注,已成为图像处理领域的研究热点之一,在艺术品复原、影视特技、信息传输纠错、视频修复等方面具有广阔的应用前景。目前提出的图像修复方法数量较多,其中Criminisi提出的样本块技术,因其修复过程简单、填补效果好、能同时修复纹理和结构,已成为一种经典的方法。但是该方法也存在优先权计算不合理、样本块搜索耗时、样本块的匹配不准确、填补后出现块效应等问题,尽管有些学者对其不断进行改进,仍然还存在着优先权获取不准确、样本块匹配约束性不足、样本块遍历范围小、候选块挑选不理想、块效应处理比较简单、对多分辨率图像的资源利用不充分等问题,因此,还需要更进一步探究。本文以Criminisi提出的样本块技术为修复主框架,在其基础上进行了一系列优化:用多分辨率图像特征获取更精确的优先权;加入梯度或边界约束,提高样本块最优匹配;缩小遍历范围且采取并行搜索,以减少时间消耗;利用图割技术消减块效应;兼顾纹理和结构内容更准确获取样本块大小;应用多分辨率图像逐层引导修复,达到全局和局部填补的一致性;充分利用多分辨率图像资源优选更合适的样本块;在深度卷积生成对抗网络中加入梯度约束,提升语义修复质量。通过对以上问题的深入研究并进行实验分析,我们提出的改进的样本块修复技术在一定程度上能提高图像修复质量和效率。主要工作如下:(1)提出了基于样本块尺度自适应选择的图像修复方法。图像中的噪声点影响梯度值,进而使数据项的获取产生误差,导致得到的优先权值不准确,引起修复次序出错。我们利用三层不同分辨率图像的特征得到数据项,增强了数据项计算的稳定性。以纹理库图像Brodatz作为分析对象,提取24个特征值训练神经网络,预测纹理样本块的大小;通过提取结构张量特征值,进而确定结构项,再拟合得到结构样本块的大小;由这两种样本块尺寸共同确定最佳样本块的大小。实验发现,在7×7至17×17之间挑选样本块的大小比较合适。通过对结构和纹理图像的实验分析,表明该技术具有很好的修复能力。(2)提出了基于整体引导式分层图像修复算法。根据图像尺寸和样本块大小自动计算图像分解的层数;将图像分解为多分辨率图像后,先实施顶层修复,再逐步利用各层修复的结果引导下层修复。整体引导使得下层图像的修复具有先前的引导信息,从而使各层的样本块匹配更加准确;在其它层(除顶层外)的修复中加入梯度距离搜索相似样本块,使选取的样本块更准确。实验表明,在修复具有简单纹理和结构的图像时,该方法可以取得满意的修复效果。(3)提出了基于筛网型引导式分层图像修复方法。采用整体引导式方法修复比较复杂的纹理区域时,因采取上采样操作,图像会出现一定的模糊性。为解决此问题,提出了筛网型引导式修复方法。在顶层修复后,上采样通过隔行隔列的0填补,只使用部分信息引导下层修复,与整体引导式修复算法相比,筛网型引导式方法可以去除模糊带来的副作用。由于图像中可能存在旋转或翻转的样本资源,考虑在多种旋转和翻转情况下进行搜索,使得图像的搜索更加精确。通过当前层和其上层图像获取其它层(除顶层外)图像的数据项,得到的优先权值更合理。存在多个候选样本块时,利用SSIM(Structural Similarity Index Measurement)进行筛选,以挑选出更相似的样本块。(4)提出了基于多分辨率图像特征和图割技术相结合的图像修复方法。将图像分解后得到多个不同尺度的图像,扩展了图像的样本资源,搜索这些资源可以找到更加相似的样本块。为了加快图像的搜索速度,在填补块周围进行搜索,减小搜索的范围。加入SSIM评价筛选样本块,同时用图割技术消减填补产生的块效应。实验验证了该图像修复技术的有效性。(5)提出了基于深度卷积生成对抗网络的图像修复方法。用基于样本块的技术修复图像时,在样本资源不足的情况下,无法找到合适的样本块,从而导致修复不能满足要求。为解决这个问题,采用DCGAN(Deep Convolutional Generative Adversarial Network)网络结构,在填补区域的周围加入梯度损失约束促使填补结果更符合视觉一致性。该方法具有语义修复的能力,将其与传统的图像修复方法和其它深度神经网络相比,实验结果表明了该方法具有不错的修复效果。
其他文献
【知识综述】1919-1949年是中国历史上的新民主主义革命时期,这一历史时期的基本特征是中国人民通过艰苦斗争,不断探索、创新,最终推翻了帝国主义、封建主义、官僚资本主义的统
有个小学三年级学生非常聪明,但是却非常好动,让他静下来听课很费劲。有天他对老师说:"我懂的东西够多了,没有必要继续读书了。"老师:"噢,真的?你只读到三年级,打算
文中给出了基于Modbus协议的阀门电动装置测试系统,说明了测试系统的硬件构成、测试软件的相关设计和开发以及Modbus协议的实现。主要介绍了Modbus通讯协议的技术要点、编程方
对于全面推进的法治中国建设来说,仅有政治上的战略决策还不够,还必须附之以战术上的具体方法。  “法治戰略需要战术(法律方法)的配合”是一个中国语境的命题。在中国,首先是政治上开启了法治战略,然后发现政治上法治战略与法学上法律方法、技术是割裂的,在法治战略中没有法律方法的位置,战略布局没有战术的配合。当我们思索法治战略与战术结合的时候,却又发现很多西方政治家提出了警惕法律方法在法治战略中走向极端的问
为了提高系统的动态性能,设计了一种新型变参数PID调节器,并在系统频率响应分析的基础上,增加一级一阶低通滤波器作为滤波前馈环节,构成一种新型的带滤波前馈的变参数PID调节器,将
组合型历史图文题在近年历史中考中出现频繁,其呈现方式是:给出两个或两个以上图表,常配有文字说明,或文字说明隐藏在图表中,让学生据此回答问题。本文以近年中考试题为例,谈谈这一题型的解答方法。    一、抓住中心读图表    一般来讲,命题者往往围绕一个中心问题去选材,几个图表之间存在着有机联系,这就要求学生在读图时不能孤立地看某一个图表,而要把所有的图表联系起来进行分析,并对图表所反映的主题形成全面
研制了一种新型智能仪器,它用离子敏场效应晶体管[ISFET]作为传感器来测定青霉素。该仪器以TM320LF2407A DSP芯片作为控制核心,文中给出了其硬件组成方框图、传感器信号处理电
[热点材料]    2009年9月14日,李长春在“双百”人物代表座谈会上发表讲话,他说:“在中国革命、建设、改革的各个历史时期,涌现出了无数感天动地、可歌可泣的英雄模范,他们用鲜血和生命,用智慧和汗水,为民族独立和人民解放、国家富强和人民幸福谱写了名垂青史、彪炳千秋的壮丽篇章。”他们是民族的脊梁,是时代的先锋,是祖国的骄傲,党和人民将永远铭记,人民共和国将永远铭记,历史将永远铭记。这次评选出的“
[背景材料]    2008年11月22日,亚太经合组织第十六次领导人非正式会议在秘鲁首都利马召开,国家主席胡锦涛出席会议并发表重要讲话。胡锦涛强调,当前,国际金融危机蔓延迅速、波及广泛,是世界经济增长的最严峻挑战。有效应对金融风险,维护国际金融稳定,促进世界经济发展,是各国各地区共同面临的重要而紧迫任务,需要国际社会增强信心、加强协调、密切合作。各国应该迅速采取有效措施,遏制金融危机扩散和蔓延,
研究开发了基于嵌入式技术的设备故障诊断巡检系统。介绍了系统的总体结构,设计了仪器系统的硬件电路和软件程序,阐述了系统软件和应用软件的功能。嵌入式技术的应用使得巡检