【摘 要】
:
图像及视频复原是从低质量的图像和视频中复原出理想、高质量的图像和视频,它是数字图像处理、计算机视觉等领域一个经典的问题。近些年,基于卷积神经网络的图像及视频复原算法的性能取得了突破,但这些算法通常存在两个主要问题:一、算法忽视了不同层次特征的互补性且未学习到图像重要的特征;二、算法模型复杂、参数量大且计算效率低下。这些问题限制了算法的性能。本文因此联合注意力机制和神经网络,探索了图像及视频复原算法
论文部分内容阅读
图像及视频复原是从低质量的图像和视频中复原出理想、高质量的图像和视频,它是数字图像处理、计算机视觉等领域一个经典的问题。近些年,基于卷积神经网络的图像及视频复原算法的性能取得了突破,但这些算法通常存在两个主要问题:一、算法忽视了不同层次特征的互补性且未学习到图像重要的特征;二、算法模型复杂、参数量大且计算效率低下。这些问题限制了算法的性能。本文因此联合注意力机制和神经网络,探索了图像及视频复原算法,重点研究了图像去雾和模糊视频复原问题,下面是本文主要的研究内容和研究成果:首先,针对现有的图像去雾深度学习模型复杂且难以高效地利用神经网络有益的特征,本文提出基于特征金字塔和通道注意力机制的深度神经网络。该网络由一个三尺度特征提取模块、一个金字塔通道注意力模块和一个图像重构模块构成。三尺度特征提取模块捕获图像不同尺度下的低层空间结构特征和高层语义特征;金字塔通道注意力模块利用特征金字塔和通道注意力机制捕获这些特征,并以金字塔方式融合图像重要的特征进行图像去雾;最后图像重构模块将特征重构为最终清晰的图像。其次,针对现有基于深度学习的图像去雾方法通常直接使用高层特征(包含更多的语义信息)来复原清晰图像,忽略了低层特征(蕴含更多的细节信息),本文首先开发了一个利用卷积神经网络低层和高层特征的特征多层次融合模块。接着在此基础上,本文提出了一种带有注意力块的残差混合卷积注意力模块来引导网络在学习过程中关注重要特征,同时降低网络训练的难度。在这个残差混合卷积注意力模块中使用了分组卷积、深度可分卷积和点卷积,因此比其他由普通卷积构成的模块计算速度更快。最后,针对现有的模糊视频复原算法依赖于光流等信息来建模视频的时域信息,模型计算复杂且难以有效建模时空信息。本文提出了一个基于多种注意力机制的深度学习模糊视频复原框架,具体是一种由时空注意力模块、图像帧通道注意力模块以及特征提取和重建模块组成的多注意力卷积神经网络。首先,该网络利用时空注意力模块和图像帧通道注意力模块来捕获相邻图像帧具有时空信息的特征;然后将捕获的特征进行融合和重构,产生清晰的图像;最后借助内容损失和感知损失以端到端方式训练多注意力卷积神经网络来恢复视频清晰细节信息。
其他文献
为探究不同供磷水平对间作体系玉米根系形态特征的影响,并分析这些根形态参数变化与玉米植株磷素吸收的相应关系,研究通过盆栽试验,设置玉米单作、玉米与大豆间作2种种植模式及不施磷(0 mg/kg)、低磷(50 mg/kg)、中磷(100 mg/kg)、高磷(150 mg/kg)4个施磷水平。结果表明,与玉米单作相比,玉米与大豆间作种植分别显著增加了玉米根长、根表面积、根体积、根尖数和根干重24.17%、
高职院校田径队日常的训练过程中,教练员不仅仅应该让学生掌握必要的专项技术,同时还要根据运动员的自身情况,掌握一定的专项体能训练方式、方法,让队员充分了解体能是运动成绩的保证。目前高职院校田径队体能训练存在一定的不足,如重专项技术训练轻体能训练且体能训练缺乏一定的针对性、体能训练手段方法少等问题。本文通分析高职院校训练中体能训练中的相关问题并对这些问题进行分析,提出相应的对策,期望能对高职院校田径队
在过去的一个世纪里,气温不断升高,对动物的生存是一个挑战。鸟类是生态系统中重要的组成部分,对全球环境变暖有非常强的敏感性。本文以画眉(Garrulax canorus)为研究对象,探讨了其在高温环境条件下的代谢产热特征及抗氧化防御机制。将野外捕捉的画眉在室温25℃,光周期12L:12D的环境中自由取食和饮水,适应4周后将其分为7组:对照组,高温1d组、3d组、7d组及21d组(高温38℃适应1天、
卵巢癌是一种高发病率的妇科肿瘤,并且还在上升。另一方面,多数患者被诊断出患有卵巢癌时已经是晚期,此时如何治疗才能延长患者的生存时间,也是需要攻克的难题。PARP(多聚腺苷二磷酸核糖聚合酶)抑制剂因能抑制DNA损伤修复,近几年在临床治疗肿瘤的化疗方案上应用较多。奥拉帕尼(olaparib)作为PARP抑制剂之一,在临床上多用于治疗卵巢癌和乳腺癌,效果明显,却也有较大的毒副作用,并且部分卵巢癌患者在接
为了研究包覆含氟弹性体后NTO(3-硝基-1,2,4-三唑-5-酮)性能的变化,选取了6种常用的含氟弹性体:F2602、F2604、F2461、F2463、F2311和F2314,并采用喷雾干燥工艺制备了细化NTO/含氟弹性体包覆粒子(其中细化NTO:含氟弹性体的质量比为3.5:97.5和5:95);分别采用扫描电镜(SEM)、纳米粒度和Zeta电位分析仪对样品形貌粒度进行了表征;并采用X射线晶体
赤潮频发在全球范围内对海洋生态系统造成了巨大破坏。大型海藻的赤潮抑制效应广受关注,但是赤潮发生对大型海藻的影响却鲜有研究。东海原甲藻(Prorocentrum donghaiense)是引发我国东海近海赤潮暴发的主要藻种,其引发的赤潮对水产养殖业造成了严重的影响,且每年东海原甲藻赤潮暴发期与栽培海藻羊栖菜(Sargassum fusiformis)的有性繁育期重合。本研究选用羊栖菜合子及东海原甲藻
家庭暴力这一社会问题普遍存在于世界各国,它严重影响、破坏了家庭的安定与社会的和谐。本文首先从我国反家庭暴力的立法现状入手对本法的整体制度框架进行简要评析,重点分析了本法中家庭暴力的认定标准;其次,笔者结合某省法院316份涉家暴离婚纠纷判决书对我国涉家暴离婚纠纷中家庭暴力认定问题进行实证分析,发现在司法实践中普遍存在家庭暴力认定难的问题;最后,笔者针对我国涉家暴离婚纠纷中家庭暴力认定难的问题从立法的
为提高蛋黄粉中虾青素(astaxanthin,AST)的保留率,以AST强化鸡蛋为原料通过普通喷雾干燥、充氮喷雾干燥和真空冷冻干燥3种方式制备AST强化蛋黄粉,探讨干燥方式对蛋黄粉性质的影响。将制备的充氮喷雾蛋黄粉在不同温度(4、25 ℃)、光照(照光,避光)、氧气(非真空,真空)条件下贮存,探究AST强化蛋黄粉的最佳贮存条件。另外,该研究中测定了蛋黄粉中AST的生物可给率。结果表明,真空冷冻干燥