论文部分内容阅读
由于外部环境、成像乃至传输过程中存在着信号干扰、污染或者损失,在航天对接、医疗分析等对清晰数据存在较大需求的领域,视频重建具有重要的理论和实际应用价值。传统重建算法主要存在实时性较差、复杂度高且泛化能力较差等问题,对复杂运动场景及干扰不能达到理想的效果。如何通过对先验知识的充分利用以及外部数据集的有效挖掘,实现视频视觉分辨率和清晰度提升,是目前亟待解决的问题。本文通过对传统去噪和超分辨率重建算法进行了研究,结合深度卷积神经网络以及视频数据的时空特性,对视频重建算法进行了改进。本文完成的主要工作如下:(1)针对传统去噪算法对复杂噪声泛化能力不强的问题,提出了基于残差卷积神经网络的视频去噪算法(ResDN)。利用时空非局部相似性构建低秩矩阵,并通过低秩矩阵分解实现稀疏字典的生成以及粗粒度噪声的盲去除。针对噪声和微小细节信息难以区分问题,利用卷积神经网络对滤除的残差再处理,实现有效细节信息的提取和增强,从较细的粒度保留更多的细节信息,提高待重建视频的分析和利用价值。实验结果表明所提方法相比BRFOE、SSC_GSM和NCSR算法取得了较好的去噪效果,在PSNR指标上分别提升22%、2.0%9.8%,在 SSIM 指标上分别提升 65.1%、3.5%、24.2%,在 FSIM 指标上提升14。5%、2.6%、7.4%,在RMSE指标上降低了41.9%、42.4%、39.9% 。(2)针对基于稀疏重建的超分辨率算法实时性较差,不能充分利用视频本身先验知识的问题,提出了基于卷积神经网络的视频超分辨率重建算法(STCNN-SR)。利用深度卷积神经网络构建关联映射学习模型,通过前向传播实现稀疏编码和解码过程,提高重建时效性和有效性。采用矩特征、结构特征对视频帧间非局部相似性量化,通过量化结果将可信度较高的先验知识融入到映射结果中,优化误匹配和不一致块。实验结果表明所提方法相比ScSR、NL-SR、CNN-SR、DPSR、Video Upsampling以及ZM-SR算法获得了更好地重建效果,在 WSNR 指标上分别平均提升 9.7%、6.4%、8.9%、8.5%、9.0%、6.2%,在 MS-SSIM 指标上分别提升 4.3%、2.3%、4.3%、4.2%、3.1%、1.6%,在 FSIM 指标上提升 4%、2.3%、4.6%、4.3%、3.7%、1.8%,在 RMSE指标上降低 17.7%、17.0%、19.1%、17.0%、16.2%和 9%。(3)针对基于卷积神经网络的视频超分辨率重建算法存在噪声放大的问题,提出了一种基于时空特征和卷积神经网络的视频超分辨率重建算法(STCP-SR)。在计算视频特征描述子进行非局部相似性量化的同时,提取待重建块的高斯分布特征,实现与外部信息的关联。从而可以更有针对性的利用外部信息,进行细节补偿、噪声抑制等操作。这个操作基于相同高斯分布图像块集构建的解析字典实现,通过稀疏编码实现无关信息的滤除,提升重建性能。实验结果表明所提方法相比 ScSR、DPSR、CNN-SR、CSCN、LASSC、NL-SR 以及 VideoSR算法获得了较好的重建效果。在客观指标评估上,与对比算法相比在PSNR 指标上平均提升 7.2%、6.8%、7.7%、7.4%、5.6%、4.8%和 6.1%,在 SSIM 指标上分别提升 5.6%、5.5%、5.7%、5.9%、4.0%、3.1%和3.3%,在 IFC 指标上提升 4.0%、3.4%、4.1%、4.2%、3.7%、2.8%和3.1%,在 RMSE 指标上降低 18.0%、17.3%、19.6%、18.0%、16.5%、16.5% 和 16.5%。(4)设计并实现了基于深度卷积神经网络和时空特征的视频重建系统(STNN-RS),主要功能模块包括视频预处理、视频去噪和视频超分辨率重建三个模块,并提供指标评价接口对所提算法进行分析与评价。主要评价指标分为视频质量评价和视频参考评价两个方面。测试发现STNN-RS系统平台运行正常,可以实现较好的视频去噪和超分辨率重建效果,实现视频质量的增强,从而对本文所提的各种算法提供了有力验证。