论文部分内容阅读
摘 要：本文是研究在目标跟踪过程中，对实时视频获取到的监控目标图像清晰度的检测，并微调控制伺服转台及监控摄像机，以跟踪、获取监控目标的最佳姿态和监视目标最清晰图像。在实时跟踪视频图像的清晰度检测中，提出了一种背景提取和Sobel算子清晰度检测相结合的方法，采用多帧图像叠加平均的方法获取背景图片，将边缘检测中经典的Sobel算子应用于视频图像清晰度检测，通过视频图像清晰度检测信息结合微调补偿矩阵控制伺服转台及监控摄像机。
关键词：清晰度检测;微调目标跟踪;实时视频图像;Sobel算子;微调补偿矩阵
引言：在目标跟踪过程中，目标实时视频图像的质量分析已成为目标自动跟踪系统性能好坏的关键因素之一，因此实时视频图像的清晰度检测变得尤为重要。目前针对实时视频图像清晰度检测的研究较少，现有的图像清晰度检测算法大致分为空域和频域两类。在空域中多采用基于梯度的算法，如拉普拉斯算法、差分平方和（SPSMD） 算法、Sobel算子等。此类算法计算简洁、快速、可靠性较高。在频域中多采用图像的FFT变换，如功率谱（Power-spectra） 算法等，此类算法的检测效果好，但计算复杂度高、计算时间长，不适合应用在实时目标检测系统中。
本文是针对实时视频图像的清晰度检测，基于实时视频图像背景基本保持不变的环境，提出一种基于背景提取与Sobel算子相结合的实时视频图像的清晰度检测算法，并将该算法计算检测到的图像目标清晰度与微调补偿矩阵结合，控制伺服转台及摄像机，以跟踪、获取到最佳的目标。
一、实时视频图像的清晰度检测算法原理
当视频播放画面超过24帧/s 时，根据视觉暂留原理，人眼无法辨别每幅单独的静态画面，看上去是平滑连续的视觉效果。视频中物体分为静止和运动两类，连续多帧画面中保持静止的物体可视为静止的背景，连续多帧画面中位置变化的物体可视为运动的前景。因此，实时视频图像中的每帧图像都可以划分为静止的背景和运动的前景两类区域。由于视频序列图像中运动的前景区域随机變化，引起图像像素点梯度值的随机改变，使得实时视频图像的清晰度检测较难实现。本文的算法是利用实时视频图像中静止的背景区域检测视频序列图像的清晰度，即由背景提取和清晰度检测两部分组成。
1. 实时视频图像的背景提取
视频序列中帧图像的静止背景区域由灰度值变化较小的像素点构成， 每个像素点都有一个对应的像素值，这个值在一段时间内保持不变;运动的前景区域由灰度值变化较大的像素点构成，各像素点在不同的帧图像中的位置改变，形成运动轨迹。背景提取的目标就是根据实时视频图像中像素值的上述特点，找出图像中背景像素点的值。采用多帧图像累加平均的方法来获取图像的背景，从统计学角度，运动物体可视为随机噪声，而均值可以降噪，采用多帧图像累加取均值可消除运动物体， 获得静止的背景图片。背景图像的计算公式为：
式中，N 为视频序列中截取的图片帧数， g
像像素（x，y）的灰度值。随着叠加帧数 N 的增加，静变，运动的物体逐渐消失。帧数越多，获得的背景效果越好。
在实际的处理中，25 帧图像迭代可得到较好的结果。
2.Sobel 算子清晰度检测
Sobel 算子清晰度检测当帧图像模糊时，边界不清晰，因此利用边界检测理论来检测图像清晰度。图像越模糊，图像的梯度值越小。经典的边界检测方法（如 Sobel 梯度算子、Robert梯度算子等）是构造对像素灰度级阶跃变化敏感的微分算子。
本文采用经典的 Sobel 算子，利用 3×3 的方向模板与图像中每个点进行邻域卷积来完成，避免了在像素之间内插点上计算梯度。Sobel 算子为：
式中，f（x，y）为图像灰度，gx 和 y g可以用卷积模板来实现，如图 1 所示。
传统的边缘检测中，Sobel 算子利用如图 1 的水平和垂直两个方向的模板， 但实际情况中的梯度方向是未知的，因此利用两个方向计算出来的结果存在一定的误差。为了提高梯度计算精度，将模板的数量增加到 4 个，如图 2 所示，即 0°、45°、90°、135°四个方向。虽然继续增加模板的数量可以进一步提高计算精度，但考虑到计算效率，模板数量不宜过多。
二、算法描述
本算法大致分为三步：
（a） 0°梯度方向模板
（b） 45°梯度方向模板
（c） 90°梯度方向模板
（d） 135°梯度方向模板
（1） 截取一段实时视频图像，获取初始背景图像;
（2） 利用实时视频图像更新初始背景，获得待检测的背景图像;
（3） 根据 Sobel 算子计算背景图像的边缘梯度值之和，根据
阈值判断背景图像的清晰度，得到实时视频图像的清晰度评价值;
根据背景图像中像素点的灰度值，采用 Sobel 算子检测图
像边缘，完成实时视频图像清晰度的检测，检测过程如下：
（1） 根据 Sobel 算子的边缘检测理论和如图 2 所示的 4 个
方向模板 Si
（i=1，2，3，4），对图像中每个像素点进行邻域卷
积计算，提取像素点 4 个方向的边缘成分，即：
1 1 F f （x， y） s
2 2 F f （x， y） s
3 3 F f （x， y） s
4 4 F f （x， y） s
（3）
图像中每个像素点的梯度值为：
2 4 2 3 2 2
21 F（x， y） F F F F
（4）
（2） 將|F|与阈值Tn 进行比较： 若|F|≥Tn ，则此像素点为边缘点;若|F|<Tn ，则此像素点为非边缘点，把图像边缘像素点的梯度值相加，以边缘梯度能量之和作为图像清晰度检测的评价值，即
式中，n 为边缘点的个数。将 value 与清晰的实时视频图像背景的清晰度检测范围值比较，若 value∈T（α1，α2）， 则实时视频图像是清晰的;若 value? T（α1，α2），则实时视频图像是模糊的。
三、实时目标清晰度检测与补偿矩阵的结合控制
在目标跟踪过程，摄像机焦距改变时，镜头本身的变化以及所带来的摄像机外参的变化，本研究是利用微调补偿矩阵补偿变焦过程中引起的摄像机外参数的变化。算法中，在制作查找表时，将补偿矩阵放入查找表，一旦焦距发生改变，可直接从查找表中查找当前焦距对应的摄像机内参以及补偿矩阵，替换和修正原有的摄像机内外参数。虽然补偿矩阵是用于补偿摄像机外部参数的矩阵，但是却是通过分析变焦镜头内部结构获得的。因此补偿矩阵只与镜头的固有性质有关，而与摄像机外参无关。所以对于同一组镜头而言，补偿矩阵只需构造一次，即使摄像机的位置和姿态发生变化，也无需重新构造，只需采用编码器记录伺服转台系统。实时目标清晰度检测在微调目标跟踪控制应用中，根据系统中检测计算得到的目标清晰度 value值，并将 value 值与微调补偿矩阵结合，实现稳定跟踪目标。
四、总结
本文对实时目标跟踪的实时视频图像的清晰度进行实时检测，并针对实时跟踪目标视频图像时刻变化的特点，提出了采用背景提取和 Sobel 算子相结合的清晰度检测算法，该算法在帧图像清晰度检测时计算效率高，能够自动实时地完成实时视频图像的清晰度检测，并结合微调补偿矩阵的算法，在变焦过程中有效地对摄像机外参进行补偿，控制摄像机及伺服转台，以达到提高跟踪精度的目的。
参考文献：
[1]朱孔凤，姜威，王瑞芳。一种新的图像清晰度评价函数，红外激光与工程，2005，34（4）：464-468
[2]袁珂，徐蔚鸿。基于图像清晰度评价的摄像头辅助调焦系统，光电工程，2006，33（1），141-144
[3]丁莹，复杂环境运动目标检测若干关键问题研究，《吉林大学》，2010
[4]王勇，谭毅华，田金文。一种新的图像清晰度评价函数，武汉理工大学学报
[5]舒远，谈正。一种新的消隐点自动测量算法，红外与激光工程，2003，32（5）：479-483
关键词：清晰度检测;微调目标跟踪;实时视频图像;Sobel算子;微调补偿矩阵
引言：在目标跟踪过程中，目标实时视频图像的质量分析已成为目标自动跟踪系统性能好坏的关键因素之一，因此实时视频图像的清晰度检测变得尤为重要。目前针对实时视频图像清晰度检测的研究较少，现有的图像清晰度检测算法大致分为空域和频域两类。在空域中多采用基于梯度的算法，如拉普拉斯算法、差分平方和（SPSMD） 算法、Sobel算子等。此类算法计算简洁、快速、可靠性较高。在频域中多采用图像的FFT变换，如功率谱（Power-spectra） 算法等，此类算法的检测效果好，但计算复杂度高、计算时间长，不适合应用在实时目标检测系统中。
本文是针对实时视频图像的清晰度检测，基于实时视频图像背景基本保持不变的环境，提出一种基于背景提取与Sobel算子相结合的实时视频图像的清晰度检测算法，并将该算法计算检测到的图像目标清晰度与微调补偿矩阵结合，控制伺服转台及摄像机，以跟踪、获取到最佳的目标。
一、实时视频图像的清晰度检测算法原理
当视频播放画面超过24帧/s 时，根据视觉暂留原理，人眼无法辨别每幅单独的静态画面，看上去是平滑连续的视觉效果。视频中物体分为静止和运动两类，连续多帧画面中保持静止的物体可视为静止的背景，连续多帧画面中位置变化的物体可视为运动的前景。因此，实时视频图像中的每帧图像都可以划分为静止的背景和运动的前景两类区域。由于视频序列图像中运动的前景区域随机變化，引起图像像素点梯度值的随机改变，使得实时视频图像的清晰度检测较难实现。本文的算法是利用实时视频图像中静止的背景区域检测视频序列图像的清晰度，即由背景提取和清晰度检测两部分组成。
1. 实时视频图像的背景提取
视频序列中帧图像的静止背景区域由灰度值变化较小的像素点构成， 每个像素点都有一个对应的像素值，这个值在一段时间内保持不变;运动的前景区域由灰度值变化较大的像素点构成，各像素点在不同的帧图像中的位置改变，形成运动轨迹。背景提取的目标就是根据实时视频图像中像素值的上述特点，找出图像中背景像素点的值。采用多帧图像累加平均的方法来获取图像的背景，从统计学角度，运动物体可视为随机噪声，而均值可以降噪，采用多帧图像累加取均值可消除运动物体， 获得静止的背景图片。背景图像的计算公式为：
式中，N 为视频序列中截取的图片帧数， g
像像素（x，y）的灰度值。随着叠加帧数 N 的增加，静变，运动的物体逐渐消失。帧数越多，获得的背景效果越好。
在实际的处理中，25 帧图像迭代可得到较好的结果。
2.Sobel 算子清晰度检测
Sobel 算子清晰度检测当帧图像模糊时，边界不清晰，因此利用边界检测理论来检测图像清晰度。图像越模糊，图像的梯度值越小。经典的边界检测方法（如 Sobel 梯度算子、Robert梯度算子等）是构造对像素灰度级阶跃变化敏感的微分算子。
本文采用经典的 Sobel 算子，利用 3×3 的方向模板与图像中每个点进行邻域卷积来完成，避免了在像素之间内插点上计算梯度。Sobel 算子为：
式中，f（x，y）为图像灰度，gx 和 y g可以用卷积模板来实现，如图 1 所示。
传统的边缘检测中，Sobel 算子利用如图 1 的水平和垂直两个方向的模板， 但实际情况中的梯度方向是未知的，因此利用两个方向计算出来的结果存在一定的误差。为了提高梯度计算精度，将模板的数量增加到 4 个，如图 2 所示，即 0°、45°、90°、135°四个方向。虽然继续增加模板的数量可以进一步提高计算精度，但考虑到计算效率，模板数量不宜过多。
二、算法描述
本算法大致分为三步：
（a） 0°梯度方向模板
（b） 45°梯度方向模板
（c） 90°梯度方向模板
（d） 135°梯度方向模板
（1） 截取一段实时视频图像，获取初始背景图像;
（2） 利用实时视频图像更新初始背景，获得待检测的背景图像;
（3） 根据 Sobel 算子计算背景图像的边缘梯度值之和，根据
阈值判断背景图像的清晰度，得到实时视频图像的清晰度评价值;
根据背景图像中像素点的灰度值，采用 Sobel 算子检测图
像边缘，完成实时视频图像清晰度的检测，检测过程如下：
（1） 根据 Sobel 算子的边缘检测理论和如图 2 所示的 4 个
方向模板 Si
（i=1，2，3，4），对图像中每个像素点进行邻域卷
积计算，提取像素点 4 个方向的边缘成分，即：
1 1 F f （x， y） s
2 2 F f （x， y） s
3 3 F f （x， y） s
4 4 F f （x， y） s
（3）
图像中每个像素点的梯度值为：
2 4 2 3 2 2
21 F（x， y） F F F F
（4）
（2） 將|F|与阈值Tn 进行比较： 若|F|≥Tn ，则此像素点为边缘点;若|F|<Tn ，则此像素点为非边缘点，把图像边缘像素点的梯度值相加，以边缘梯度能量之和作为图像清晰度检测的评价值，即
式中，n 为边缘点的个数。将 value 与清晰的实时视频图像背景的清晰度检测范围值比较，若 value∈T（α1，α2）， 则实时视频图像是清晰的;若 value? T（α1，α2），则实时视频图像是模糊的。
三、实时目标清晰度检测与补偿矩阵的结合控制
在目标跟踪过程，摄像机焦距改变时，镜头本身的变化以及所带来的摄像机外参的变化，本研究是利用微调补偿矩阵补偿变焦过程中引起的摄像机外参数的变化。算法中，在制作查找表时，将补偿矩阵放入查找表，一旦焦距发生改变，可直接从查找表中查找当前焦距对应的摄像机内参以及补偿矩阵，替换和修正原有的摄像机内外参数。虽然补偿矩阵是用于补偿摄像机外部参数的矩阵，但是却是通过分析变焦镜头内部结构获得的。因此补偿矩阵只与镜头的固有性质有关，而与摄像机外参无关。所以对于同一组镜头而言，补偿矩阵只需构造一次，即使摄像机的位置和姿态发生变化，也无需重新构造，只需采用编码器记录伺服转台系统。实时目标清晰度检测在微调目标跟踪控制应用中，根据系统中检测计算得到的目标清晰度 value值，并将 value 值与微调补偿矩阵结合，实现稳定跟踪目标。
四、总结
本文对实时目标跟踪的实时视频图像的清晰度进行实时检测，并针对实时跟踪目标视频图像时刻变化的特点，提出了采用背景提取和 Sobel 算子相结合的清晰度检测算法，该算法在帧图像清晰度检测时计算效率高，能够自动实时地完成实时视频图像的清晰度检测，并结合微调补偿矩阵的算法，在变焦过程中有效地对摄像机外参进行补偿，控制摄像机及伺服转台，以达到提高跟踪精度的目的。
参考文献：
[1]朱孔凤，姜威，王瑞芳。一种新的图像清晰度评价函数，红外激光与工程，2005，34（4）：464-468
[2]袁珂，徐蔚鸿。基于图像清晰度评价的摄像头辅助调焦系统，光电工程，2006，33（1），141-144
[3]丁莹，复杂环境运动目标检测若干关键问题研究，《吉林大学》，2010
[4]王勇，谭毅华，田金文。一种新的图像清晰度评价函数，武汉理工大学学报
[5]舒远，谈正。一种新的消隐点自动测量算法，红外与激光工程，2003，32（5）：479-483