视频图像降噪技术不但能够滤除视频图像中的噪声、提高视频图像主观视觉质量,而且对于压缩编码、目标识别与跟踪、帧频提升等后续处理任务有重要意义。现行的视频图像降噪算法可以分为两类:早期的像素域降噪算法和近年来的转换域降噪算法。根据滤波器的滤波范围,像素域降噪算法可以划分为时域滤波算法和空时滤波算法。时域滤波算法利用视频图像时域上的相关性以抑制噪声,通常基于运动估计/运动补偿方法获取时域预测;而空时滤波算法则是利用视频图像三维空间中的空时相关性滤除噪声。像素域降噪算法的主要缺点就是在降噪后的视频图像中容易引入时域降质、过平滑等空域降质,到目前为止还没有一种适合多种噪声级别的降噪算法,采用自适应机制可以改善像素域降噪算法的缺陷,这一方面有待深入研究。另外,像素域降噪算法中多采用运动估计获取时域上的相关信息,但噪声的存在容易影响运动估计的准确度,从而降低降噪性能,因此,迫切需要找寻适合噪声环境的、对噪声鲁棒性好的快速运动估计算法。小波分析是一种经典的信号分析工具,被广泛应用于各种信号处理领域中,国内外的研究学者也致力于对其深入研究和广泛推广。其中的二维小波和三维小波凭借其多尺度的良好稀疏分解能力,在视频图像降噪领域中被寄予厚望,以小波变换为代表的转换域降噪算法是目前的研究热点。目前有一系列的多尺度几何分析转换域处理方法,比如经典的阈值收缩降噪、层间相关性降噪等基于图像信息物理特性模型的处理方法,以及隐马尔可夫树模型、广义逆高斯模型等基于视频图像变换系数统计假设模型的处理方法。这些基于经典的物理特性模型的方法的特点是,主要对能量、幅值进行考察,但这些物理性能并不一定与视频图像的几何特性很好地对应,常有过度扼杀细节信息的趋势;而统计假设模型与视频图像信息的物理对应关系还有待进一步研究,并且其中有较多的参数和先验条件设置,这限制了其在实践中的应用。总的说来,寻找更符合实际视频图像信号或视觉性能的系数模型和算法参数是目前转换域噪声抑制技术发展的研究热点之一。视频图像降噪的主要目标是滤除其中的随机噪声,同时尽可能保持好细节信息,并要求在降噪后的视频图像中减少由于滤波引入的视觉降质。本文从上述目标出发,着眼于对视频图像中随机噪声的抑制,主要包括了对运动估计和运动补偿、交叉双边滤波、二维小波变换和三维小波变换、自适应机制等方面的研究,其中对视频图像细节的保护是本文研究内容的特色。本文的具体工作是:①下采样块匹配快速运动估计算法。结合多分辨率运动估计理论提出一种下采样块匹配快速搜索算法。算法中,先将视频图像各帧平面进行二维稀疏分解,在对应的低分辨率图像层中进行初步运动估计,然后依次在对应的高分辨率图像中进行更精细的运动估计,最终得到准确的运动矢量场。实验数据表明,相比经典的块匹配搜索算法,本文下采样快速搜索算法搜索速度提高了1.26～1.8倍,搜索准确度提高了4%～38%,能够克服视频图像中不同级别噪声的影响、有较好的鲁棒性,说明该算法适合于视频图像降噪中的应用。在下采样块匹配快速搜索算法中,一方面采用了双线性插值下采样二重分辨率分解技术,在保证搜索精度的前提下有效地减少搜索计算量、达到快速搜索的目的;另一方面,由于双线性插值下采样方法的低通特性,可以在一定程度上抑制噪声对运动矢量搜索的干扰。②引入自适应机制,提出一种基于运动状态检测的多假设递归空时滤波视频图像降噪算法(Multihypothesis recursive filter, MRF)。在受噪视频图像中,首先将当前帧划分为非重叠、大小一致的块,并结合运动估计检测其局部运动状态,根据运动状态选择对应的去噪方案。在刚体运动部分选用时域平滑进行滤波,在非刚体运动部分则进行自交叉双边滤波去噪。文中给出了刚体运动状态和非刚体运动状态的定义,并采用噪声标准差作为区分刚体运动和非刚体运动的阈值。实验数据表明,该算法能够合理地利用视频图像空时域中的相关性,在保持视频图像细节的同时有效地滤除随机噪声,在降噪后视频图像的峰值信噪比(Peak signal noise ratio, PSNR)值和主观视觉质量方面,均超过了空时联合滤波(Spatial temporal joint filtering scheme, JNT)、空时转换滤波(Spatial temporal varying filter, STVF)、多假设运动补偿滤波(Multihypothesis motion compensated filter, MHMCF)等经典的像素域视频图像降噪算法。由于采用了自适应机制,基于运动状态检测的多假设递归空时滤波视频图像降噪算法确保了合理地利用视频图像中的空时相关性和相应的滤波方案去除噪声,算法模型几何意义明确,并在降噪后的视频图像中有效地减少了块效应等视觉降质。③一种结合运动补偿的球体双边滤波视频图像降噪算法(Motion compensated sphere bilateral filter,MCSBF)。首先从视频图像中提取出当前帧和前后多帧图像,通过运动估计得出对当前帧运动补偿后的参考帧,然后在当前帧和参考帧构成的三维空间中,利用滤波窗为球体的双边滤波器对当前帧进行平滑滤波,就可在有效去除噪声的同时、保护好视频图像中的细节信息。实验表明,该算法在保持视频图像细节的同时、有效地滤除了随机噪声,在视频图像的PSNR值和主观视觉质量方面,均超过了JNT、STVF、MHMCF等经典的像素域视频图像降噪算法。结合运动补偿的球体双边滤波视频图像降噪算法能充分利用视频图像中的空时相关性,在保护视频图像细节的同时有效地抑制了随机噪声:运动补偿初步(从宏观角度上看)消除了受噪视频图像内容在时域上的非平稳现象,双边滤波中的灰度测试参数高斯核确保消除了局部(从微观角度上看)空时非平稳现象;参与滤波的像素均为中心滤波像素点的空时高相关像素点,三维球体滤波窗有效地减少了参与滤波的空时域低相关像素数量、不易引起降噪后视频图像中产生过平滑模糊现象;降噪效果不受视频图像中局部内容的旋转变化的影响,球体滤波窗具有旋转不变性,能够自适应于视频图像中局部内容的旋转变化;以单个像素点为基本处理单位,从本质上避免了块效应等视觉降质的产生。④结合小波阈值去噪和交叉双边滤波算法思想,提出了一种基于非下采样小波阈值去噪的三维自交叉双边滤波算法(3-D self-cross bilateral filtering video denoising filter, 3DSCBF)。在受噪视频图像序列中,通过运动估计和运动补偿形成一系列当前帧的运动补偿帧;对当前帧和运动补偿帧分别进行非下采样小波阈值去噪,得到三维双边滤波参考帧;最后,用滑动的三维滤波窗对受噪当前帧中的像素点逐一进行三维交叉双边滤波,其中的像素空间几何距离在当前帧和运动补偿构成的三维空间中计算、像素灰度值距离在阈值去噪后的三维双边滤波参考帧空间中计算。实验结果表明,该算法既能有效滤除噪声又能保持好视频图像中的细节和边缘信息,在降噪后的视频图像PSNR值、主观视觉质量和方法噪声等方面均超过了经典的二维非下采样小波阈值去噪(Undecimated wavelet transform thresholding method, UWT Thresholding)、结合小波变换和时域滤波的视频序列降噪算法(Video sequence noise reduction using wavelet-domain and temporal filtering, SEQWT)等转换域视频图像降噪算法,其对细节信息的保护是本文的一个特色。算法中,运动估计和运动补偿可以消除视频图像在时域上的非平稳,在交叉滤波之前的灰度测度系数是根据非下采样小波阈值处理结果计算得出,比直接在受噪视频的三维邻域中计算得到的更为准确,最后的交叉双边滤波也继承了双边滤波的特点,因此,上述算法特点确保了能够充分利用视频图像空时域上的相关性有效地滤除随机噪声。另外,当其滤波窗由立方体优化为球体后,其平滑滤波在三维空间中具备了旋转不变性、能更好地克服视频图像局域上的非平稳,相应的降噪滤波性能得到进一步提升。⑤结合运动补偿三维小波变换的优点和交叉双边滤波的思想,提出了一种基于运动补偿三维小波阈值去噪的自交叉双边滤波算法(Self-cross bilateral filteringvideo denoising filter based on motion compensated three dimensional wavelet transform thresholding method, SCBF-3DWTTh)。在受噪视频图像序列中,通过运动估计和运动补偿形成一系列当前帧的运动补偿帧;对当前帧和运动补偿帧分别进行三维小波阈值去噪,得到三维双边滤波参考帧;最后,用滑动的三维滤波窗对受噪当前帧中的像素点逐一进行三维交叉双边滤波,其中的像素空间几何距离在当前帧和运动补偿构成的三维空间中计算、像素灰度值距离在阈值去噪后的三维双边滤波参考帧空间中计算。通过运动补偿三维小波阈值处理可以获得更为准确的灰度值参考帧;而球体滤波窗具有旋转不变性,可以较好地处理旋转等局部的空时非平稳现象。因此该算法可以充分利用视频图像内容在空时域中的高相关性,有效地滤除随机噪声并保护视频图像中的细节和边缘信息,另外,滤波窗优化为球体滤波窗使算法的降噪性能进一步提升。通过实验数据的比较可知:结合运动补偿的三维小波变换是一种有效的视频图像多分辩分解方法,结合了这种变换的阈值去噪可以有效地滤除视频图像中的随机噪声;基于运动补偿三维小波阈值去噪的自交叉双边滤波算法可以有效地抑制视频图像中的随机噪声,在滤除噪声的同时能够保持视频图像中的细节和边缘信息,且没有引入明显的视觉降质,在降噪后视频图像PSNR值方面超过了高斯混合模型(Gaussiana scale mixtures, GSM)、SEQWT、小波系数帧间统计模型(Inter-frame statistical modeling of wavelet coefficients, IFSM)等基于二维小波变换的转换域降噪算法,以及结合运动补偿的三维小波阈值去噪(Motion compensated three dimensional wavelet transform thresholding method, MC3DWTn)、结合空域小波变换和时域离散余弦变换的阈值去噪(Temporal discrete cosine transform and spatial hierarchically adapted wavelet transform thresholding method, DCT +DWT)等基于三维小波变换的转换域降噪算法;基于三维小波变换的视频图像降噪算法明显优于基于二维小波变换的降噪算法,这一结论可以通过实验数据得到验证。