基于时域对齐的视频压缩感知重构神经网络研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:xieyuchun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
压缩感知是一种强大的信号采样技术,能够在对信号采样的同时完成压缩,极大地减轻了编码端的计算和存储负担。由于计算复杂度主要集中在解码端,重构算法的设计是压缩感知最核心的研究内容。传统图像/视频压缩感知重构算法理论可解释性较好,但重构性能不理想;近来提出的基于深度学习的重构算法通过数据驱动的方式直接学习观测值到重构信号之间的非线性映射,重构质量较高,且重构速度较快,但理论可解释性较差。针对现有图像/视频压缩感知算法存在的不足,本文在压缩感知理论的指导下,以深度学习技术为工具,提出了相应的改进方案,主要工作如下:(1)基于传统ISTA算法,提出了一个高性能的优化启发的图像压缩感知神经网络(UAST-Net),在利用深度学习技术强大建模能力的同时具有良好的可解释性。在UAST-Net中,设计了一个自适应阈值收缩模块来代替传统软阈值处理操作,在滤除噪声的同时保留更多细节信息。实验结果表明,UAST-Net能够在保持实时重构的条件下,显著提升图像重构质量。需要强调的是,除用于图像任务外,UAST-Net还可作为初始重构网络直接嵌入到已有视频压缩感知框架中,是后面两部分工作的基础算法。(2)为高效挖掘视频信号的时域相关性,提出了遮挡感知的光流对齐网络(O~2FA-Net),能够根据视频帧内容自适应从参考帧中提取有用信息对当前帧进行补偿。在此基础上,引入多帧融合网络,提出了两阶段联合深度重构网络(JDR-O~2FA-Net)增强非关键帧的重构质量。在第二阶段融合过程中,设计了一个轻量级的注意力模块(STFW)来扩大感受野,提升网络的表达能力。此外,为尽可能地利用观测值提升网络重构性能,提出了观测损失辅助指导网络优化。实验结果表明,与现有最优的算法相比,JDR-O~2FA-Net可以在保持高帧率重构速度的同时,显著提升视频帧重构质量。(3)针对基于卷积神经网络的时域对齐方法信息感知范围有限的问题,提出了利用注意力机制实现视频压缩感知重构过程中运动估计/运动补偿的创新思想,并设计了时域注意力对齐网络(TA~2-Net)进行实现。结合JDR-O~2FA-Net中设计的融合网络,提出了一种结构设计更为简洁高效的联合深度重构网络(EJDR-TA~2-Net)实现非关键帧的高质量重构。实验结果表明,与最优的深度学习算法2s RER-VGSR-Net相比,EJDR-TA~2-Net重构帧的PSNR最高提升了1.76d B。
其他文献
随着精准扶贫工作的稳步推进、小康社会的全面建成,2020年底我国贫困县全部摘帽,区域性整体贫困得到解决。在新的发展时期,乡村振兴战略成为促进三农发展、巩固脱贫攻坚成果的稳定抓手。2022年中央一号文件指出,坚决守住不发生规模性返贫底线,聚焦产业振兴促进乡村发展,不断强化政策保障和体制机制建设,完善监测帮扶和政策落实机制,扩大乡村振兴投入,加强人才队伍建设,三产融合助推动农业农村绿色发展,依托富民产
学位
2022年中央一号文件指出要构建县域范围内比较优势明显、带动农业农村能力强、就业容量大的产业发展格局。2021年中央一号文件提出了“到2025年,农业生产结构和区域布局明显优化,农业质量效益和竞争力明显提升”的发展目标。《全国乡村产业发展规划(2020-2025年)》指出“要统筹农业产业产地、销区和园区布局,形成生产与加工、产品与市场、企业与农户协调发展的格局”。在宏观政策引导下,针对农业产业布局
学位
2020年底,我国打赢脱贫攻坚战,历史性地解决了绝对贫困和区域性整体贫困问题,积累了新时代最成功的反贫困实践经验,但这并不意味着我国的反贫困道路已经完全走向成功,我国农村脱贫人口的返贫风险仍然存在,长期性、动态性、多维性的相对贫困问题日渐凸显。在乡村振兴阶段,不仅要不断巩固脱贫攻坚成果、防止发生规模性返贫,还要将反贫困工作的重点转向解决低收入人口的相对贫困问题,建立起反贫长效机制。本文系统梳理并分
学位
作为中华文明的活化石,古籍文档珍稀而易损,数字化技术是古籍文档能够持久流传的重要举措。文本识别算法是古籍文档数字化的基石,它提取古籍文档图像的文本特征,转换为语义连贯的文本序列。但古籍文本存在样本类别长尾分布、类间特征重叠、版面样式多变、开源数据集稀缺等诸多难题,古籍文本识别算法的发展颇受羁绊。目前,现有古籍文本识别算法多基于单字符识别,但这或许割裂了字符间的语义关系,导致识别模型的推理预测能力薄
学位
随着城镇化进程的快速推进,农村人口逐渐向第二、三产业转移,我国正面临着农业兼业化、农村空心化、农民老龄化的严峻挑战。谁来种地、如何种地的问题亟需解决。为解决这一问题,近年来我国不断加大专业大户、农民专业合作社、龙头企业以及家庭农场等新型经营主体的投入力度。其中家庭农场是以家庭承包为基础,更符合我国农业生产和家庭经营的特点,是现阶段最适宜的新型农业经营主体。然而我国家庭农场仍处于起步阶段,目前经营效
学位
报纸
电磁吸波体是一种能够有效吸收电磁波的结构或材料,它能将电磁波能量转化为热能耗散掉。在表面覆盖电磁吸波体已经成为武器装备降低雷达散射截面积(RCS)的重要手段。随着电子对抗技术的发展,多功能电磁吸波体正在成为当前电磁领域的研究热门。本文基于电磁吸波体的基本理论,设计了两种频率选择吸波体,并研究了一种基于神经网络的纸基吸波材料电磁参数提取方法。本文的主要研究内容概括如下:1、双阻带双极化频率选择吸波体
学位
自供给侧结构性改革战略实施以来,山西省不遗余力地进行产业转型,大力推进农业产业化,扶持龙头企业发展壮大,时至今日,已取得不少成就。然而,对于这些龙头企业发展状况如何、在地理上呈现怎样的分布特征并反映出山西省农业产业化到底处在一个怎样的发展阶段以及哪些因素影响着龙头企业的分布等问题,尚没有完整的针对性研究对其一一进行回答。为了解决以上问题,本研究以山西省省级农业产业化龙头企业为研究对象,利用核密度估
学位
自古以来,土地不仅是宝贵的自然资源,还是人民财富之母,因此将土地和土地政策置于中国农业、农村和农民问题的解决当中,置于国家战略进程中具有其他政策不可替代的深远影响和作用,其中农地流转政策的实施可有效提高土地分配效率和农业生产效率。因此深入探究欠发达地区的农地流转情况对于农地流转政策实施、巩固脱贫成效具有重要意义。本研究以山西省陵川县为例,基于相关文献阅读,运用问卷调查与访谈法相结合进行实地调研,了
学位
视觉富文档是指语义结构不仅由文字的语义决定,还与文字布局和视觉特征有着重要关联的一类文档。随着深度学习的发展,光学字符识别(Optical Character Recognition,OCR)技术取得了飞速发展。与此同时,除了读取图片上的文字以外,理解文字背后的含义正成为工业界和学术界探索的课题。视觉信息抽取(Visual Information Extraction,VIE)任务正是一种从视觉富
学位