真实场景下模糊图像超分辨率关键技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:hy1208
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像超分辨率定义为放大图像的空间分辨率,是经典的底层视觉问题之一。图像超分辨率在公共安全、医疗、遥感、移动互联等领域具有广泛的实际应用需求。随着智能化时代的到来,图像数据已经成为获取信息的重要渠道,数以亿计的图像数据在不同设备中和不同场景下产生。由于受到低像素相机、压缩存储、高放大倍数等因素影响,大量图像存在低分辨率、模糊、噪声多等现象。如何将不同场景下低分辨率照片的画质进行增强,还原自然图像丰富的细节,具有重要的研究和应用价值。本文针对图像超分辨率问题进行了研究,分析了近期代表性算法的优势和不足。超分辨率问题主要具有两个研究难点:超分重建和退化建模。现有方法大多在已知退化假设下训练超分网络,难以保证在真实场景中模糊数据上的性能。本文针对超分辨率重建网络结构设计和真实场景模糊数据退化建模进行了探索,具体工作如下:1.针对图像超分辨率过程中低频特征恢复不佳的问题,提出了一种新的上下文感知残差网络(Context-Aware residual Super-Resolution network,CASR)。本文发现,现有超分辨率方法在恢复低频的像素特征时,不加区分地处理所有通道和区域,没有针对局部和上下文之间的联系进行建模。本文的CASR结合了提出的融合注意力残差结构和增强门控结构,可以更加高效地整合上下文信息。其中,融合注意力残差结构基于通道注意力和空间注意力机制来增强信息表征能力,能高效地描述局部上下文,建模重要的低频特征。此外,本文提出的增强门控结构用于调制多级特征间的信息流动,进一步过滤冗余信息并增强高贡献度的特征。本文通过五个数据集上的实验验证了CASR的合理性和有效性。CASR网络提升了残差网络的性能,能够恢复自然清晰的图像细节,以轻量的结构实现了高效的重建性能。2.针对图像超分辨率算法应用到真实场景遇到图像域漂移的问题,提出了一种频率一致性自适应方法(Frequency Consistent Adaptation,FCA)。本文发现,现有超分辨率方法大多基于退化的先验知识来构造低分辨率图像,训练完成的模型往往在训练数据上重建效果较好。但由于真实场景中图像的退化方式和先验知识不一定相同,既有模型在真实场景测试时很难达到预期效果。本文提出的FCA从无监督的源域图像中估计超分退化核,然后生成频率密度与源域图像一致的低分辨率图像,从而为超分模型提供图像域一致的训练样本对。在FCA中,本文提出了频率密度比较器(Frequency Density Comparator,FDC),用于给生成器提供频率一致性损失。生成器接受FDC反馈的梯度信息,学习如何估计源域图像中的退化核。本文通过合成数据集和真实数据集上的实验验证了FCA对于超分模型的提升效果。相比于最新的解决盲超分的方法,FCA在定量指标和视觉效果上均表现出明显优势。
其他文献
目的 出血转化(Hemorrhagic Transformation,HT)是缺血性脑卒中的常见严重并发症,尤其是在溶栓治疗后,显著增加卒中的致残率及死亡率。目前HT的病理机制和治疗靶点尚不清楚,临床无有效防治药物。匹诺塞林是一种天然黄酮类化合物,对脑卒中具有显著的治疗作用,目前已经作为I类抗脑缺血新药进入II期临床试验。但匹诺塞林对脑卒中后HT的发生尚未有系统研究,因此,本研究考察了匹诺塞林在脑
随着大数据与人工智能的发展,身份验证方式也逐渐发生变革。钥匙、指纹等传统的解锁方式正逐渐被人脸识别、声纹识别、步态识别等更为智能的方式所取代。在诸多新兴的识别方式中,人脸识别方法目前取得的效果最令人满意,已经在日常生活的许多场景中有所应用。在如今这样的数字化智能时代,将人脸识别技术应用于广泛部署的智能监控设备中,已经成为保障社会安全的需要。然而,在许多场景中拍摄到的人脸并不理想,会因为拍摄距离、天
学位
作为数据同化主流算法之一,集合卡尔曼滤波(Ensemble Kalman Filter,En KF)广泛应用于大气、海洋和陆地数据同化中。观测技术和预报模式的高速发展给集合数据同化带来了巨大的机遇和挑战,如何充分利用高分辨率观测信息和发展更完善的集合数据同化方法成为数据同化的研究热点。基于这一研究背景,论文主要针对集合数据同化相关的两个课题进行研究,并取得如下的进展和结论:(1)同化频次对集合数据
目的研究肽基精氨酸脱亚胺酶4(Peptidyl arginine deaminase 4,PAD4)的小干扰RNA(small interfering RNA,siRNA)载体对胶原诱导关节炎(collagen-induced arthritis,CIA)小鼠的治疗作用及其机制。方法采用牛Ⅱ型胶原建立CIA模型,实验分为空白组(DBA/Ⅰ小鼠不做任何处理)、模型组(建立CIA小鼠后没有进行其他处理
研究背景雷公藤内脂醇(TP)是一种从传统中草药雷公藤中提取的环氧二萜内酯化合物,具有较强的抗肿瘤、免疫抑制和抗炎作用,但由于其溶解度较低和毒性限制了其在临床中的应用。长期使用可导致肝肿大、肝损伤、ALT、AST升高等不良事件。因此TP的结构修饰与开发新的TP靶向给药系统十分必要。TP衍生物的涌现加深了人们对于TP各个基团功能及其参与信号通路的理解。TP发挥抗肿瘤作用有多种方式:诱导肿瘤的凋亡与自噬
近些年来随着计算机辅助技术的进步,自由曲面建筑得到了蓬勃的发展,非线性的形态成为当下的一种趋势。尽管建筑师可以借助建模软件便捷地得到自由曲面形态,但是在建筑的实际建造过程面临着许多挑战,其中一个重要的问题为曲面优化问题,即如何找到一个适合建造的曲面来近似拟合一个理想曲面,这通常意味着对曲面进行平板化重构。目前大多数实践与研究都是采用单一多边形网格来拟合曲面,但此种使用相同类型的多边形平板来满铺曲面
癌症的早期筛查和诊断是提高癌症患者治愈率和日常生活品质,甚至能够延长生命的重要手段之一。目前的癌症诊断金标准——组织活检无法提供早期的病理信息,侵入性的取样方式易对患者造成二次伤害,且检测成本高、时间久。近年来新兴的液体活检技术为癌症的早期诊断提供了更多可能。液体活检具备取样方便、来源广泛、操作简单、及时迅速等优点。循环肿瘤细胞以及外泌体是当前液体活检的主要对象,而且已展现出了巨大的临床应用潜力。
我国汽车保有量正随着经济的不断发展呈现快速增长的态势,日渐拥堵的地上空间以及大量停车位的缺口使得地下车库成为城市建设的必备设施。但由于地下车库长期处于封闭状态,基本与室外自然空气和阳光隔绝,使得污染情况严重,甚至影响人体的健康。地下车库的主要污染物中CO成分远高于其他污染物,对人体的伤害也最大。因此,想要改善地下车库的空气质量,就必须寻找合适的通风方案将CO浓度限制在规定范围内。本文采用现场检测与
渐晕是拍摄图片时的一种不良反应,具体表现为远离图像中心,亮度径向衰减,在暗光拍摄等场景下尤为明显。针对夜光成像课题组所遇到的视频渐晕问题,本文深入分析了学术界现有的几种渐晕校正算法,其中针对非预定相机,单张图像的渐晕校正算法更适合项目应用场景。但由于算法复杂度较高,在嵌入式平台上运行无法满足视频的吞吐率需求,因此本文设计了图像渐晕校正算法的硬件加速器。本文重点介绍了基于对数强度熵最小化的渐晕校正算