基于学习的图像超分辨率重建方法研究

来源 :西安电子科技大学 | 被引量 : 6次 | 上传用户:oyyc4011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的发展,人们获取信息的途径日益丰富,图像成为了传递信息的最重要方式之一。然而,受限于成像设备的硬件条件和受到外界环境的干扰,通常人们获取到的是分辨率低,甚至是含有噪声的图像。为了解决上述问题,在不改变成像设备及外部环境的前提下,从信号处理角度来研究提高图像分辨率的方法,人们称之为图像超分辨率重建技术。众所周知,图像超分辨率重建是一个典型的病态逆问题。对于此类问题,有效的策略是利用合适的先验知识来对构建的数学模型求解进行正则化操作,从而使得病态问题变成良态可解。最近几年,基于学习的策略通过从大量数据中学习出低分辨率图像到高分辨图像映射函数的方式来获得先验信息,并成为了主流方法。该方法能够避免人为定义图像先验的不足,从而引起学者的广泛关注。本文在国家自然科学基金(61771379),国家自然科学基金创新研究群体科学基金(61621005),国家自然科学基金(61472306)和教育部“长江学者和创新团队发展计划”(IRT15R53)的资助下,针对基于学习的图像超分辨率重建做出了探索性和创新性的研究,论文的主要工作包括:(1)提出了一种基于l1范数系数转换约束的双字典学习方法,并用于有噪图像超分辨率重建。传统基于稀疏表示的双字典学习方法可以在无噪图像上实现较好的重建效果,可是对噪声十分敏感。通过对该问题进行理论分析,发现原因在于F范数系数转换约束使得LR图像块的表示不再稀疏,从而导致噪声随着高频细节一并被重建。针对该问题,首先提出使用l1范数系数转换约束来代替lF范数约束的策略,从而保证LR图像块解的稀疏性;然后,为了更有效地提高稀疏分解的稳定性和准确性,将HR图像稀疏系数的非局部约束纳入到双字典学习的框架中;最后,采用迭代收敛算法来求解模型。(2)提出了一种基于联合先验学习的有噪视觉传感器图像超分辨率重建方法。视觉传感器获取的图像往往分辨率低且包含大量噪声,同时没有可利用的外部数据进行先验学习。为了解决上述问题,首先提出一个基于EM算法的策略,将有噪图像超分辨过程拆解成两个子过程:图像上采样(E-步)和图像去噪过程(M-步);然后,在M-步过程中,使用前一次迭代的结果图来构造非局部群稀疏和几何对偶先验,并分别将它们作为去噪估计的似然项和先验项;最后,使用贝叶斯均方误差最小化的方法来求解HR图像的最大后验值。(3)提出了一种基于低秩矩阵分解的内外融合方法,并用于图像超分辨重建。为了有效地融合基于内部和外部学习的超分辨率重建方法,首先对两个方法重建结果图的差异性进行分析,发现:1)两者恢复的细节存在互补特性;2)两者产生的估计误差图是稀疏的,这启发了使用低秩分解的策略来对两者进行整合;然后,为了满足低秩分解的条件,分别对内外方法设置不同的参数和使用不同的训练数据,从而生成多张有差异的结果图,使得互补细节在各自方法产生的多张结果图中呈现相关性而被低秩算法保留,而瑕疵和噪声被剔除;最后,通过低秩理论分析发现,不需要很多的低秩数量输入就可以实现最佳融合效果。(4)提出了一种基于外部学习辅助的自样例学习方法,并用于图像超分辨率重建。传统自样例学习方法存在两个主要缺陷:1)不能自适应地利用LR输入图像块中对HR中心像素预测有用的信息;2)通过递归地下采样LR图像来生成回归函数学习的训练数据,使得图像中可利用的信息变少,导致学习到的函数不够准确。为了解决上述问题,提出一个基于混合神经网络的外部学习来辅助自样例学习。首先,将LR图像块输入到混合神经网络,输出LR图像块的表示特征,同时估计得到一个最初的HR图像;然后,使用最初的HR图像来构建双层金字塔,并将LR图像块的特征作为双层金字塔中回归函数的输入;最后,分析了几种不同的回归函数模型,发现高斯过程回归函数更适合用于超分辨率重建。(5)提出了一种基于深度卷积自编码网络的无监督图像分解方法,并用于图像超分辨率重建、去雨及去噪任务。在传统复原方法映射函数学习的过程中,需要大量配对的降质和清晰图像来作为训练数据,但在实践中获取配对数据是十分困难的。为了解决上述问题,提出一种基于图像分解网络的策略用于映射函数学习,该方法无需要求训练数据一一配对。首先,构建一个特征分解的卷积自编码网络,分别对降质和清晰图像采取不同编码策略来重构自身:使用全部特征图来重构降质图像而使用部分特征图来对清晰图像进行重构。上述操作保证了在复原过程中,降质图像的特征图可以分解成两部分,而仅使用清晰图像对应的特征图就可以重建出复原图像;然后,在重构误差约束上添加判别分类器正则用于加速分解网络的收敛,同时进一步提高图像复原质量。
其他文献
随着人类科技水平的不断进步,人们变得越来越注重高效的生活方式,日常洗头护理便是其中之一。尤其对于美发店来说,减少劳动强度以及更加高效、高质量地完成工作更加被人们所
研究背景:牙齿缺失是每一个人的一生中都无可避免的需要面临的问题,目前,对于牙齿缺失的解决方法,通常为:活动义齿、固定桥修复及种植牙。但是,活动义齿的功能性不足、固定桥
<正>2015年,农业部首次提出到2020年实现化肥使用量零增长目标,制定并发布了《化肥使用量零增长行动方案》。统计数据表明,2015年我国农用化肥施用折合纯量为6 023万t,相较于
近年来,随着市场对枸杞的需求量逐渐的增大,枸杞的种植面积也在不断扩大。枸杞人工采摘方式效率低、费用高、对劳动力的需求大,目前枸杞采摘的成本已经超过了枸杞总成本的50%
近些年来,我国创建研究型大学的呼声越来越高,研究型大学在提升国家科技竞争力中的重要性越来越受到政府和社会的重视。在这一背景下,如何建设研究型大学便成为我国政府与高
大口黑鲈(Micropterus salmoides)是中国重要的淡水养殖品种之一。大口黑鲈是肉食性鱼类,养殖生产上主要投喂冰鲜鱼,但近几年野生资源的下降,冰鲜鱼的价格一直上升,致使养殖
为实现桥梁挠度监测信号各种效应值的分离,提出1种基于自适应噪声的完备集合经验模态分解(Complete Ensemble Empirical Mode Decomposition with Adaptive Noise,CEEMDAN)结
在电视剧的形象内容系统里,核心成分无疑是人物。这是因为电视剧是社会生活的一种艺术反映,而社会生活是由人的活动构成的。本文通过2016年热映的电视剧作品《琅琊榜》中的两
<正> 更年期综合征是指妇女在自然绝径前后,由于丧失卵巢功能而引起的一种症候群。根据临床表现应届中医郁证范围。笔者运用柴胡疏肝汤为主治疗本病取得很好疗效,现概略如下
含铅压电陶瓷材料由于具有较好的压电性能,被广泛应用在传感器、驱动器和能量采集等器件中。但是随着时代的发展,铅元素对人体和环境可造成不可修复的危害越来越被人们关注,