论文部分内容阅读
随着人们对公共安全意识的提高,人群异常行为检测受到越来越多的关注,使得人群异常行为的研究成为了计算机视觉领域中的一个学术热点。目前我国公共区域的监控系统大多是基于可见光的,但是基于可见光的人群异常行为检测受环境影响较大,并且临时性大型集会场所对固定的视频监控系统提出了更高的挑战。针对上述问题,考虑人群与环境所成红外图像的差异和四旋翼无人机机动性强的特点,本文研究了应用于四旋翼平台的红外人群异常行为监测算法及系统实现。首先,通过牛顿-欧拉力学建立了四旋翼无人机的动力学模型,根据红外成像的特点以及无人机的载荷能力,选用红外热像仪FLIR TAU-336和嵌入式平台Jetson TX1组成的红外视觉系统。实际飞行试验验证了系统的可靠性。然后,针对人群异常行为检测实时性差、分类算法准确率不高和有效特征量少等问题,本文设计了一种基于人群密度估计和人群运动估计的异常行为检测方法。由于目前未见有基于红外的异常行为数据集公开发表,因此自建了红外数据集,其中包括公共区域不同场景下的样本图片和视频。充分考虑人群异常行为与人群密度以及人群平均运动速度的关系,结合密度与平均运动速度对人群异常行为进行判定。设计多任务级联卷积神经网络(Convolutional Neural Network,CNN)将人群密度估计分为人群数量分类和级联密度估计两级子任务,通过将先验知识嵌入到密度估计任务,从而获得具有较低计数误差的高质量密度图(Density Map,DM)。针对人群运动估计问题,采用金字塔LK光流法跟踪运动角点,进而获得运动角点在视频序列连续两帧间的运动向量,用于估计人群的平均运动速度。最后,针对聚集和逃散两种人群异常行为进行测试,结果表明监测无人机系统可以实时有效地检测出公共区域中的人群异常行为。