论文部分内容阅读
由于环境中的光照亮度变化、光学或运动模糊、欠采样以及噪声干扰等因素,往往使得多源视觉传感器所拍摄的空间运动图像的视觉分辨率质量较差,严重影响到空间运动目标的精确位姿估计和运动目标的精确识别与跟踪,因此研究跨尺度空间运动图像的增强和重建问题,具有重要理论意义和实际应用价值。虽然现有的增强和重建技术在图像处理和计算机视觉领域取得了一定进展,但在空间运动图像的跨尺度增强和重建处理方面仍有很多问题亟待解决。针对空间运动图像的时空特性以及复杂运动模式的特点,如何综合利用空间运动图像不同时空尺度的跨尺度相关信息实现高效鲁棒性的跨尺度增强和重建处理,从而进一步提升空间运动图像的视觉分辨率和细节清晰度,这对空间运动图像的增强和重建问题提出了新的挑战。本文围绕跨尺度空间运动图像的增强和重建问题,对基于非下采样轮廓波数学变换的跨尺度特征描述、跨尺度自适应增强、时空域鲁棒性非局部模糊配准机制以及基于模糊配准机制的运动图像序列时空超分辨率重建等关键理论与技术进行了研究。论文的主要贡献和创新点如下：(1)针对已有的空间运动图像去噪方法在滤除噪声的同时模糊了空间运动图像边缘细节信息的问题,提出了一种基于尺度相关SURE-LET的跨尺度自适应去噪算法(NCTSD),在滤除噪声的同时进一步提升空间运动图像边缘细节信息的保持能力。该算法基于非下采样轮廓波数学变换,提取不同频率尺度的特征信息,建立空间运动图像的跨尺度描述。提出了一种新的局部自适应阈值策略,对不同尺度不同子带方向的变换系数进行判定,并由此构建了基于局部自适应阈值的跨尺度相关性计算方法,进一步提升了细节信息和噪声的区分能力。通过求解基元阈值函数的最优化线性组合,实现了跨尺度自适应去噪,更有效地保持了空间运动图像的边缘细节特征。实验结果表明,相比MFD、BayesShrink、 BiShrink和WT_SURE-LET算法,本文提出的NCTSD算法在峰值信噪比指标方面分别平均提升了19%、9%、3%和2%,在平均结构相似度指标方面分别平均提升了42%、18%、7%和5%。在噪声级别较大的情况下,去噪的性能优势更为显著。(2)针对已有的空间运动图像细节增强方法在细节特征增强的同时,噪声也随之放大的问题,提出了一种基于时空显著性的跨尺度自适应增强算法(ST-CAE),实现对人眼所重点关注的运动目标区域的细节特征清晰度提升,进一步提升了时间效率。提出了一种基于图论和压缩感知的时空显著性运动目标区域检测和提取方法(GC-STD),构建了时空视觉注意模型。借助局部空间能量对现有的双变量统计相关性计算进行了改进,使其同时具备尺度内和尺度间相关性的计算能力,从而完成了局部自适应非高斯双变量统计,实现了自适应阈值的最优化求解,可以更有效地区分噪声和空间图像细节特征。提出了基于时空显著性的跨尺度自适应增强函数,在实现时空显著性运动目标细节特征增强的同时,有效地抑制了噪声。实验结果表明,相比已有的LLDE和AUMS算法,本文提出的ST-CAE算法在边缘能量指标方面分别平均提升了36%和12%,在平均梯度指标方面分别平均提升了39%和10%,在信息熵指标方面分别平均提升了13%和4%。(3)针对已有的空间运动图像超分辨率重建方法在复杂运动模式下的鲁棒性不强,以及容易出现边缘模糊和重影的问题,提出了一种基于Zernike矩和非局部相似性的跨尺度超分辨率重建算法(ST-ASR),通过对不同时空尺度的多帧低分辨率的空间运动图像进行跨尺度融合,重建出了高分辨率、高质量的空间运动图像序列。ST-ASR算法不依赖于精确的亚像素运动估计,能够适用于一些复杂的运动模式,且具有较好的旋转不变性及噪声鲁棒性。利用一种高效的基于迭代曲率的插值方法来获取各低分辨率运动图像的初始高分辨率估计。利用基于平均能量的区域相关性判断和自适应阈值策略,对基于Zernike矩的跨尺度融合过程进行了改进,进一步提升了该算法精度和时间效率。实验结果表明,相比NNI、NL-SR和ZM-SR算法,本文提出的ST-ASR算法在峰值信噪比指标方面分别平均提升了5%、3%和2%,在平均结构相似度指标方面分别平均提升了8%、4%和3%。ST-ASR算法在提升了重建精度的同时,也明显提升了时间效率。(4)针对已有的空间运动图像序列时空超分辨率重建方法在重建图像中容易产生视觉上的空洞效应以及边缘细节模糊的问题,提出了一种基于光流估计和模糊配准机制的时空超分辨率重建算法(STSR),实现了不同时空尺度的空间运动图像序列的时空分辨率提升,获取更清晰、流畅的空间运动图像序列。该算法不依赖于精确的亚像素运动估计,且具有较好的旋转不变性和噪声鲁棒性。提出了基于运动细节保护的鲁棒性光流运动估计算法(MPOF),在不同的分辨率尺度下进行由粗到精的分层式迭代光流计算,利用双向加权融合思想对低分辨率运动图像序列进行时空运动补偿,构建了时空域快速自适应模糊配准机制。实验结果表明,相比POCS.NL-SR和ZM-SR算法,本文提出的STSR算法在峰值信噪比指标方面分别平均提升了20%、8%和6%,在平均结构相似度指标方面分别平均提升了17%、7%和5%,在均方根误差指标方面分别平均降低了43%、29%和24%。STSR算法不仅在高斯噪声下具有较好的鲁棒性,而且在非高斯和混合性噪声(泊松噪声、泊松-高斯混合噪声)下也表现出较好的性能。(5)针对已有的基于模糊配准机制的空间运动图像超分辨率重建方法在不同的亮度尺度下无法取得理想重建效果的问题,提出了基于多源双向相似性的多曝光运动图像跨尺度超分辨率重建算法(ME-ASR),通过对不同曝光尺度、不同时空尺度的低分辨率运动图像进行跨尺度融合,实现了多曝光空间运动图像的视觉分辨率增强。该算法能够适用于较大或复杂的运动模式,且具有较好的旋转不变性及噪声、光照鲁棒性。实现了多曝光运动图像的亮度补偿(MBS-LC),构建了一种新的基于伪Zernike矩和结构相似性的快速非局部模糊配准机制,融合不同时空尺度的运动图像间的非局部相似性信息,实现了超分辨率重建,获取出高动态范围和高分辨率运动图像序列。实验结果表明,MBS-LC算法能够把因曝光不足以及曝光过度而丢失的细节信息有效地重建出来。相比TMP和MEFM算法,MBS-LC算法在信息熵指标方面分别平均提升了26%和17%,在清晰度指标方面分别平均提升了21%和20%。相比Bicubic、RobustIBP和ZM-SR算法,ME-ASR算法在峰值信噪比指标方面分别平均提升了4%、5%和2%,在平均结构相似度指标方面分别平均提升了12%、25%和4%,在平均梯度指标方面分别平均提升了24%、12%和11%,在边缘能量指标方面分别平均提升了19%、13%和11%。(6)综合提出的NCTSD、ST-CAE、ST-ASR、STSR和ME-ASR算法,设计并实现了跨尺度空间运动图像增强和超分辨率重建系统(DIERS)。DIERS系统包含数据存储层、逻辑层和用户层三个逻辑层次。逻辑层包括去噪、细节增强、亮度补偿和超分辨率重建四个功能模块,分别实现了空间运动图像的噪声滤除、空间运动目标的细节清晰度提升、不同曝光尺度的空间运动图像亮度补偿和不同时空尺度的空间运动图像时空超分辨率重建。测试表明DIERS系统能取得较好的跨尺度增强和超分辨率重建效果,提升了空间运动图像的视觉分辨率和细节清晰度,验证了本文提出的相关算法。