近年来,随着经济和社会的发展,社会生产和生活中对高分辨率图像和视频的需求持续增长,然而受成像设备性能、成像环境限制以及经济、时间等因素的影响,在某些情况下人们获得的仍然是低分辨率的图像。将低分辨率图像重建为高分辨率图像的超分辨率重建技术为人们获得高分辨率的图像提供了经济可行的解决方案。在过去几十年中,超分辨率重建技术的研究取得了很大的进展,尤其是近年来提出的压缩感知理论、深度学习理论为超分辨率重建技术注入了新的血液,算法的性能得到了进一步提升。本文围绕视频的超分辨率重建开展研究,重点研究了基于矩阵补全模型的超分辨率重建技术和基于深度学习模型的超分辨率重建技术。本文的主要工作和创新点如下:(1)针对以 MCSR(Matrix Completion Super-Resolution)算法为代表的基于矩阵补全模型的视频超分辨率重建算法无法有效处理视频中的局部复杂运动的问题,本文提出了一种基于矩阵补全模型的鲁棒的视频超分辨率重建算法。在运动补偿阶段,该算法提出了一种多尺度非局部块匹配方法,它利用图像的自相似性,能从较少的相邻帧中提取到足够数量的图像块构造低秩矩阵,既能有效保留边缘信息,又能提高算法对局部运动的鲁棒性。实验结果表明,采用本文提出的块匹配算法能解决MCSR算法无法有效处理复杂视频的问题;在高分辨率重建阶段,设计了一个加权平均策略来求取高分辨率图像块,进而能更精确地重建高分辨率视频帧。仿真实验结果表明:本文提出的加权融合策略能进一步提高重建图像的 PSNR(Peak Signal to Noise Ratio)值约 0.14-0.40dB。(2)针对 SRCNN(Super-Resolution using Convolutional Neural Networks)进行较高倍率重建时重建图像边缘不够光滑、存在振铃效应的问题,本文提出了一种边缘保持的单幅图像超分辨率重建算法。SRCNN是第一个端到端的用于单幅图像超分辨率重建的卷积神经网络。与SRCNN相比,本文算法使用了固定的3 × 3的小卷积核取代了 SRCNN中9×9和5×5的卷积核,以更好地提取梯度信息;同时将网络层数由3层增加到6层,提取的特征映射数量比SRCNN扩大一倍,重建出边缘更加清晰的图像。因为网络模型需要学习的参数数量增加了,所以本文算法使用了更大的训练集进行训练,避免发生过拟合。实验结果表明,尽管在SRCNN提供的小训练集上算法的性能提升不明显,但是在ImageNet这类大训练集上,相比SRCNN,本文算法在不同测试集的平均PSNR值最高可提升0.52dB(放大倍数为2),最低可提升0.08dB(放大倍数为4)。在放大倍数为4的情况下,尽管本文算法在PSNR值上的提升不明显,但其重建的高分辨率图像主观视觉效果相比SRCNN提升明显,具有更加光滑的边缘,振铃效应也得到了抑制。本文提出的单幅图像超分辨率重建算法可以直接应用于视频的超分辨率重建,它虽无法利用帧间信息,但也不需要进行复杂的运动补偿。(3)基于三维卷积神经网,提出了一种结构保持的快速视频超分辨率重建算法。大部分基于卷积神经网的视频超分辨率重建算法使用二维卷积进行特征提取,其过程与单幅图像超分辨率重建并无不同,而本文算法提出在高分辨率重建过程中使用三维卷积沿着空间维度和时间维度提取三维特征,能够有效提取视频的帧间信息。为了保持图像结构信息,本文算法使用 MSE(Mean Square Error)损失函数结合 MS-SSIM(Multi-Scale Structure Similarity Index Measure)损失函数优化网络模型。此外,除了运动补偿后的视频帧,运动补偿阶段估计的光流和原低分辨率视频帧也参与高分辨率重建,为重建步骤提供更多的信息。本文算法能够从输入的低分辨率图像直接重建高分辨率图像,由于该模型的运动补偿和特征提取部分都在低分辨率空间进行,仅在最后一层重建高分辨率图像,算法的运算速度快。实验结果表明,本文算法重建图像的PSNR值和SSIM值超越 VSRnet(Video Super-Resolution Networks)和 VESPCN(Video Efficient Sub-Pixel Convolutional Network)这两类基于二维卷积神经网的视频超分辨率重建算法,与使用 ConvLSTM(Convolutional Long-Short Term Memory network)的DF(Detail Fusion)算法接近,但本文算法速度比DF算法提高超过10倍。从主观视觉效果上,本文算法相比以上算法在高倍率放大时能够更准确地保持重建图像的结构信息。