论文部分内容阅读
摘要：基于Jetson TX2平台的人员异常行为识别系统通过直方图均衡化算法对监控视频中的数据进行增强处理，采用帧间-背景差分算法相结合的方式对目标进行检测，使用基于Camshift和Kalman滤波相结合的跟踪算法对目标进行跟踪，最后通过提取的人体表观特征、光流特征或时空特征对目标的行为特征融合、分类、识别，判断是否属于异常行为。
关键词：视频监控;异常行为;特征提取;行为识别
引言
人员异常行为识别系统在视频监控领域具有广泛的应用价值，已成为计算机视觉[1]中的重要部分。在监护领域，通过人员异常行为识别系统，可实现对病患或老人以及小孩的实时监控，判断目标是否出现跌倒或其他意外[2];在交通监管领域，可以判断车内人员是否存在着异常情况;在公共安全管理领域，人员异常行为识别系统可以判断是否存在着影响公众的生命财产安全事件的。搭载了人员行为识别系统的视频监控系统能够将人工从繁杂的视频监控工作中解放出来，同时能够从海量的视频信息中及时的获取有用的信息。
1.Jetson TX2介绍
Jetson TX2是一种具有超高性能以及超低功耗的计算机模块。Jetson TX2采用新一代NVIDIA Pascal架构GPU，有256个CUDA核心，处理器有6个CPU核心，内置8 GB L128 bit DDR4内存和32 GB eMMC 5.1 Flash储存，支持802.11ac WLAN和Bluetooth，支持较为复杂的深度神经网络[3]，可以满足多数用于人工智能的算法需求。
2.人员异常行为识别原理
特定场所的小概率行为属于“异常行为”，对于特定的社会场所而言，不符合法律及道德要求的行为也被称为“异常行为”。人员异常行为是指特定场所的特定行为，即各场所的异常行为类型各不相同。因此人员异常行为识别需要根据提取的人员行为特征进行判斷是否符合该场所的行为规范。
对目标人员的行为特征提取前，需要对获得的视频各帧进行图像增强处理，检测其中目标并进行跟踪，再提取该目标的行为特征，随后进行特征对比，以获得相应的结果。
3.人员异常行为识别系统主要技术
3.1 图像增强处理
常见的图像增强方法有Gamma校正、同态滤波以及直方图均衡化等方法。Gamma校正（AC）是一种有效的非线性变换，通过对图像灰度进行变换，校正亮度，通常应用于提高暗调的细节[3];同态滤波将构建的图像照度/反射率模型作为频域进行处理，再与灰度变换结合起来，以获得高质量的图像信息;直方图均衡化算法是将灰度直方图某个比较集中的区域变成全部范围内的均匀分布，即将某些概率密度分布比较集中的直方图区域拉升开来，而稀疏的部分基本上保持不变，从而达到增强图像对比度的效果[4]。适用于人员异常行为识别的图像预处理的流程为：当前图像的各灰度级像素数目，各灰度级的概率密度，累计直方图，归一化直方图。
3.2 目标检测
目前主要使用的目标检测算法有帧间差分法、背景差分法、光流法等。帧间差分法与背景差分法类似，都是根据视频中两帧图像的不同来确定目标;光流法是依靠图像中灰度的时间变化以及图像场景中物体的结构和运动的关系来检测目标，其重点在于设备和目标的相对运动，使用这种方法检测静止监控的视频目标，需要其他算法的辅助。故系统选用帧间和背景差分法相结合的方式检测目标。
运动目标跟踪算法当前流行的主要有MeanShift算法、CamShift算法、粒子滤波算法以及Blob信息提取算法。Meanshift算法因其固定不变的核函数窗口使得该算法在跟踪方面的准确性大大降低;Camshift算法在目标被严重遮拦的情况下无法进行有效的跟踪;粒子滤波算法需要用大量的样本数量才能很好地近似系统的后验概率密度，这使得算法的复杂度变得很高;基于Blob信息提取的算法其局限性是必须提前知道所跟踪的目标。本系统拟采用基于Camshift和Kalman滤波相结合的跟踪算法来对视频中目标进行跟踪。
3.4 行为识别
常使用的人体行为特征提取方法如下：
1）基于人体表观特征的提取方法：捕捉视频中目标的轮廓或骨骼信息，通过获取的目标轮廓和骨骼运动，提取模型的质心及姿态，根据模型姿态及质心的变化来描述运动目标的行为;
2）基于时空特征的提取方法：时空特征是结合了目标的形状和运动特征的表征，可以用兴趣点构成的点集表示动作，通过目标的时空兴趣点可以提取目标的行为特征;
3）基于光流变化的特征提取方法：通过对目标运动时产生的光流变化进行分析，根据分析对光流区域进行表征，描述目标行为。
人员行为特征信息提取后，要采用适当的分类机制对所有的特征进行归类处理，为后面测试打下基础。目标行为识别方面所用到的分类方法主要有支持向量机（SVM）、贝叶斯网络法、决策树以及神经网络等。
4.结束语
基于TX2的人员异常行为系统还可以用卷积神经网络搭建，但卷积神经网络需要大量数据进行深度学习。特定场所的异常行为属于小概率事件，采用上述方式更加简单，且可以实现程序的并行化，并具有低成本、可嵌入，具有一定智能的、主动式快速报警特点。
参考文献：
[1]胡智祯，万晋廷，王毓玮.论计算机视觉技术在自动化中的应用[J].南方农机，2017，48（5）：125-125.
[2]于乃功，柏德国.基于姿态估计的实时跌倒检测算法[J].控制与决策，2020，35（11）：2761-2766.
[3]牛雨晴，苏维均，于重重，刘子越.基于TX2环境的智能监控实时行为识别[J].信息技术与信息化，2021，04：243-245.
[4]胡正平，张乐，李淑芳，孙德纲.视频监控系统异常目标检测与定位综述 [J].燕山大学学报，2019，43（1）：1-12.
基金项目：湖南省大学生创新创业训练计划：基于JetsonTX2平台的人员异常行为识别系统研究与开发（S201911077008）;多功能水域垃圾智能清理装置（B20170201209）。
关键词：视频监控;异常行为;特征提取;行为识别
引言
人员异常行为识别系统在视频监控领域具有广泛的应用价值，已成为计算机视觉[1]中的重要部分。在监护领域，通过人员异常行为识别系统，可实现对病患或老人以及小孩的实时监控，判断目标是否出现跌倒或其他意外[2];在交通监管领域，可以判断车内人员是否存在着异常情况;在公共安全管理领域，人员异常行为识别系统可以判断是否存在着影响公众的生命财产安全事件的。搭载了人员行为识别系统的视频监控系统能够将人工从繁杂的视频监控工作中解放出来，同时能够从海量的视频信息中及时的获取有用的信息。
1.Jetson TX2介绍
Jetson TX2是一种具有超高性能以及超低功耗的计算机模块。Jetson TX2采用新一代NVIDIA Pascal架构GPU，有256个CUDA核心，处理器有6个CPU核心，内置8 GB L128 bit DDR4内存和32 GB eMMC 5.1 Flash储存，支持802.11ac WLAN和Bluetooth，支持较为复杂的深度神经网络[3]，可以满足多数用于人工智能的算法需求。
2.人员异常行为识别原理
特定场所的小概率行为属于“异常行为”，对于特定的社会场所而言，不符合法律及道德要求的行为也被称为“异常行为”。人员异常行为是指特定场所的特定行为，即各场所的异常行为类型各不相同。因此人员异常行为识别需要根据提取的人员行为特征进行判斷是否符合该场所的行为规范。
对目标人员的行为特征提取前，需要对获得的视频各帧进行图像增强处理，检测其中目标并进行跟踪，再提取该目标的行为特征，随后进行特征对比，以获得相应的结果。
3.人员异常行为识别系统主要技术
3.1 图像增强处理
常见的图像增强方法有Gamma校正、同态滤波以及直方图均衡化等方法。Gamma校正（AC）是一种有效的非线性变换，通过对图像灰度进行变换，校正亮度，通常应用于提高暗调的细节[3];同态滤波将构建的图像照度/反射率模型作为频域进行处理，再与灰度变换结合起来，以获得高质量的图像信息;直方图均衡化算法是将灰度直方图某个比较集中的区域变成全部范围内的均匀分布，即将某些概率密度分布比较集中的直方图区域拉升开来，而稀疏的部分基本上保持不变，从而达到增强图像对比度的效果[4]。适用于人员异常行为识别的图像预处理的流程为：当前图像的各灰度级像素数目，各灰度级的概率密度，累计直方图，归一化直方图。
3.2 目标检测
目前主要使用的目标检测算法有帧间差分法、背景差分法、光流法等。帧间差分法与背景差分法类似，都是根据视频中两帧图像的不同来确定目标;光流法是依靠图像中灰度的时间变化以及图像场景中物体的结构和运动的关系来检测目标，其重点在于设备和目标的相对运动，使用这种方法检测静止监控的视频目标，需要其他算法的辅助。故系统选用帧间和背景差分法相结合的方式检测目标。
运动目标跟踪算法当前流行的主要有MeanShift算法、CamShift算法、粒子滤波算法以及Blob信息提取算法。Meanshift算法因其固定不变的核函数窗口使得该算法在跟踪方面的准确性大大降低;Camshift算法在目标被严重遮拦的情况下无法进行有效的跟踪;粒子滤波算法需要用大量的样本数量才能很好地近似系统的后验概率密度，这使得算法的复杂度变得很高;基于Blob信息提取的算法其局限性是必须提前知道所跟踪的目标。本系统拟采用基于Camshift和Kalman滤波相结合的跟踪算法来对视频中目标进行跟踪。
3.4 行为识别
常使用的人体行为特征提取方法如下：
1）基于人体表观特征的提取方法：捕捉视频中目标的轮廓或骨骼信息，通过获取的目标轮廓和骨骼运动，提取模型的质心及姿态，根据模型姿态及质心的变化来描述运动目标的行为;
2）基于时空特征的提取方法：时空特征是结合了目标的形状和运动特征的表征，可以用兴趣点构成的点集表示动作，通过目标的时空兴趣点可以提取目标的行为特征;
3）基于光流变化的特征提取方法：通过对目标运动时产生的光流变化进行分析，根据分析对光流区域进行表征，描述目标行为。
人员行为特征信息提取后，要采用适当的分类机制对所有的特征进行归类处理，为后面测试打下基础。目标行为识别方面所用到的分类方法主要有支持向量机（SVM）、贝叶斯网络法、决策树以及神经网络等。
4.结束语
基于TX2的人员异常行为系统还可以用卷积神经网络搭建，但卷积神经网络需要大量数据进行深度学习。特定场所的异常行为属于小概率事件，采用上述方式更加简单，且可以实现程序的并行化，并具有低成本、可嵌入，具有一定智能的、主动式快速报警特点。
参考文献：
[1]胡智祯，万晋廷，王毓玮.论计算机视觉技术在自动化中的应用[J].南方农机，2017，48（5）：125-125.
[2]于乃功，柏德国.基于姿态估计的实时跌倒检测算法[J].控制与决策，2020，35（11）：2761-2766.
[3]牛雨晴，苏维均，于重重，刘子越.基于TX2环境的智能监控实时行为识别[J].信息技术与信息化，2021，04：243-245.
[4]胡正平，张乐，李淑芳，孙德纲.视频监控系统异常目标检测与定位综述 [J].燕山大学学报，2019，43（1）：1-12.
基金项目：湖南省大学生创新创业训练计划：基于JetsonTX2平台的人员异常行为识别系统研究与开发（S201911077008）;多功能水域垃圾智能清理装置（B20170201209）。