论文部分内容阅读
随着现代信息技术的飞速发展，以互联网和移动终端为支撑的网络视频、社交网络、视频监控等新型应用不断涌现，象征着人类已经进入了大数据时代。各类媒体数据急剧增长，而图像视频数据异军突起，以更高的数量级增长。研究高效的图像视频存储与传输的方法成为大数据处理的核心问题。因此，图像编码和无线视频软播作为图像存储和视频传输领域的典型应用，具有重要的研究意义。变换是传统图像编码与视频软播框架中的核心技术，然而，固定线性变换不能自适应图像视频特性，因此无法实现图像视频紧致表达；同时，基于反变换的解码结构限制了先验知识的利用，导致图像的重建质量和编码效率较低。稀疏表示和卷积神经网络分别采用冗余基和非线性模型来自适应图像视频特性，能够实现信号的高效紧致表示；同时，灵活的表达结构可以高效地整合先验知识，进一步提升图像视频信号的重建质量。为此，针对无线视频广播问题和图像压缩问题，本文将稀疏表示理论和卷积神经网络引入传统的图像编码和视频软播框架中，从利用基于学习的方法提高图像编码和视频软播性能的角度开展研究，具体研究内容包括如下四方面：
第一，提出了一种基于字典学习的无线视频软播方案。在传统的无线视频软播框架中，固定变换不能自适应图像视频特性，无法高效表示视频信号，在低带宽条件下性能受限明显；同时，基于反变换的解码结构无法利用先验知识进一步提升解码质量。压缩感知方法可利用信号稀疏特性，基于少量观测数据，采用优化方法几乎精确地重构信号。为此，本文利用稀疏编码和重建代替无线视频软播方案中传统的变换和反变换过程，提出了一种基于压缩感知和层次帧结构的无线视频软播方案。在编码端，在有限带宽条件下，建立层次帧结构，合理分配观测率，最大限度获取视频信号的有效信息。特别是，利用同等重要的观测数据具有天然的抗丢包能力，降低了信道保护代价。在解码端，利用视频信号的局部稀疏性和非局部自相似性以及时域相关性等先验信息，提出了基于组的稀疏表示优化重建模型及高效的模型求解算法，实现了视频软播的高精度和鲁棒解码。实验结果表明，本文提出的方案具有良好视频广播可伸缩性的同时显著提高了编码压缩效率。
第二，提出了一种基于低秩逼近的行扫描视频软播方案。在传统无线视频软播方案中，预测环节缺失导致编码效率低下，若加入闭环预测则会引发误差漂移问题；同时，以块或帧为编码单元导致其必须获得足够规模的行数据才可进行编码和传输，从而造成行扫描视频传输高延迟问题。分布式编码理论指出，当解码端具有边信息时信源可以被高效压缩，并且对误差传递具有鲁棒性。低秩表示本质上结构化的稀疏表示，在图像视频的低秩表示框架下，图像视频中相关性隐含在一个低秩矩阵形式中，低秩表示为图像视频的高精度逼近提供了途径。为此，本文利用分布式编码的典型技术陪集编码代替无线视频软播中的变换编码，提出了一种基于低秩矩阵填充的行扫描视频软播方法。在编码端，无须等待若干行数据采集，实时对采集的视频行进行陪集编码压缩，降低了编码端计算代价。在解码端，在分析视频时空域相关性基础上，利用模板匹配技术，提出了基于低秩逼近的边信息生成算法。通过高精度的边信息，提高了陪集解码准确性和重建视频质量。实验结果表明，本文提出的方案在多种信道条件下均取得优于传统视频软播方案的性能。
第三，提出了一种基于卷积神经网络的视频软播后处理方案。传统视频软播方案采用了基于块的离散余弦变换压缩图像中的冗余信息。当带宽受限时，需要丢弃一定数目的变换系数，同时信号在传输中不可避免地受到噪声干扰，解码端接收到的数据中包含了编码和传输环节的噪声。然而，在解码端，在经过反变换的解码图像中，编码与传输噪声依然存在。事实上，稀疏表示和卷积神经网络网络可以自适应图像特性，实现降质图像的高精度重建。为此，本文基于稀疏表示和卷积神经网络，提出了一种基于卷积神经网络的鲁棒的视频广播方案。该方案将编码视为图像降质过程，编码端根据带宽条件控制降质程度。在解码端，将图像解码转化为降质图像的复原问题，利用视频帧的局部稀疏性和非局部自相似性，建立组稀疏表示模型，针对降质过程，提出了基于组稀疏表示模型的视频帧复原方法。在此基础上，利用卷积神经网络的强大的非线性特性，进一步减轻编码和传输噪声所产生的影响。实验结果表明，本文提出的方案不仅具有良好的视频广播可伸缩性，而且可以减轻编码和传输中的噪声，与传统视频软播相比，提供了视觉友好的主客观质量。
第四，提出了一种基于深度神经网络的端到端相关图像压缩方法。传统图像编码方法采用固定的线性变换，固定变换基无法自适应于图像特性，线性的表达方式难以刻画图像复杂纹理与结构；同时，独立优化设计的编解码端，限制了压缩性能的提升。自编码器利用多层网络将高维数据表示为低维的特征，并由低维特征最大限度地恢复原始数据；其利用非线性模型获得优于线性变换的紧致特征表示。同时，灵活的编解码结构和编解码的协同优化为图像高效压缩提供了可能。为此，本文在多路自编码器基础上，对各个层次特征施加互参考约束，建立了基于互参考结构的关联图像编解码方案。采用二值化器量化图像特征，利用图像内容特征生成重要性图，以指导量化特征的码率分配。将编码的率失真优化代价作为网络的优化目标，通过可微的二值化器保证了网络训练的可行性。本文提出的方法通过端到端的自编码器结构实现了图像编解码的联合优化，通过多路的互参考的结构实现了相关图像的高效编码。实验结果表明，对于相关图像压缩问题，本文提出的方法能够获得优于传统图像编码方法的主客观质量。
第一，提出了一种基于字典学习的无线视频软播方案。在传统的无线视频软播框架中，固定变换不能自适应图像视频特性，无法高效表示视频信号，在低带宽条件下性能受限明显；同时，基于反变换的解码结构无法利用先验知识进一步提升解码质量。压缩感知方法可利用信号稀疏特性，基于少量观测数据，采用优化方法几乎精确地重构信号。为此，本文利用稀疏编码和重建代替无线视频软播方案中传统的变换和反变换过程，提出了一种基于压缩感知和层次帧结构的无线视频软播方案。在编码端，在有限带宽条件下，建立层次帧结构，合理分配观测率，最大限度获取视频信号的有效信息。特别是，利用同等重要的观测数据具有天然的抗丢包能力，降低了信道保护代价。在解码端，利用视频信号的局部稀疏性和非局部自相似性以及时域相关性等先验信息，提出了基于组的稀疏表示优化重建模型及高效的模型求解算法，实现了视频软播的高精度和鲁棒解码。实验结果表明，本文提出的方案具有良好视频广播可伸缩性的同时显著提高了编码压缩效率。
第二，提出了一种基于低秩逼近的行扫描视频软播方案。在传统无线视频软播方案中，预测环节缺失导致编码效率低下，若加入闭环预测则会引发误差漂移问题；同时，以块或帧为编码单元导致其必须获得足够规模的行数据才可进行编码和传输，从而造成行扫描视频传输高延迟问题。分布式编码理论指出，当解码端具有边信息时信源可以被高效压缩，并且对误差传递具有鲁棒性。低秩表示本质上结构化的稀疏表示，在图像视频的低秩表示框架下，图像视频中相关性隐含在一个低秩矩阵形式中，低秩表示为图像视频的高精度逼近提供了途径。为此，本文利用分布式编码的典型技术陪集编码代替无线视频软播中的变换编码，提出了一种基于低秩矩阵填充的行扫描视频软播方法。在编码端，无须等待若干行数据采集，实时对采集的视频行进行陪集编码压缩，降低了编码端计算代价。在解码端，在分析视频时空域相关性基础上，利用模板匹配技术，提出了基于低秩逼近的边信息生成算法。通过高精度的边信息，提高了陪集解码准确性和重建视频质量。实验结果表明，本文提出的方案在多种信道条件下均取得优于传统视频软播方案的性能。
第三，提出了一种基于卷积神经网络的视频软播后处理方案。传统视频软播方案采用了基于块的离散余弦变换压缩图像中的冗余信息。当带宽受限时，需要丢弃一定数目的变换系数，同时信号在传输中不可避免地受到噪声干扰，解码端接收到的数据中包含了编码和传输环节的噪声。然而，在解码端，在经过反变换的解码图像中，编码与传输噪声依然存在。事实上，稀疏表示和卷积神经网络网络可以自适应图像特性，实现降质图像的高精度重建。为此，本文基于稀疏表示和卷积神经网络，提出了一种基于卷积神经网络的鲁棒的视频广播方案。该方案将编码视为图像降质过程，编码端根据带宽条件控制降质程度。在解码端，将图像解码转化为降质图像的复原问题，利用视频帧的局部稀疏性和非局部自相似性，建立组稀疏表示模型，针对降质过程，提出了基于组稀疏表示模型的视频帧复原方法。在此基础上，利用卷积神经网络的强大的非线性特性，进一步减轻编码和传输噪声所产生的影响。实验结果表明，本文提出的方案不仅具有良好的视频广播可伸缩性，而且可以减轻编码和传输中的噪声，与传统视频软播相比，提供了视觉友好的主客观质量。
第四，提出了一种基于深度神经网络的端到端相关图像压缩方法。传统图像编码方法采用固定的线性变换，固定变换基无法自适应于图像特性，线性的表达方式难以刻画图像复杂纹理与结构；同时，独立优化设计的编解码端，限制了压缩性能的提升。自编码器利用多层网络将高维数据表示为低维的特征，并由低维特征最大限度地恢复原始数据；其利用非线性模型获得优于线性变换的紧致特征表示。同时，灵活的编解码结构和编解码的协同优化为图像高效压缩提供了可能。为此，本文在多路自编码器基础上，对各个层次特征施加互参考约束，建立了基于互参考结构的关联图像编解码方案。采用二值化器量化图像特征，利用图像内容特征生成重要性图，以指导量化特征的码率分配。将编码的率失真优化代价作为网络的优化目标，通过可微的二值化器保证了网络训练的可行性。本文提出的方法通过端到端的自编码器结构实现了图像编解码的联合优化，通过多路的互参考的结构实现了相关图像的高效编码。实验结果表明，对于相关图像压缩问题，本文提出的方法能够获得优于传统图像编码方法的主客观质量。