行为检测旨在通过智能算法自动地定位视频中感兴趣行为,并判断行为的类别。行为检测是计算机视觉研究领域一项极其重要且困难的研究任务,其研究成果可被广泛应用于智能监控系统、海量视频检索、机器人视觉、非法视频检索等领域。本文针对现有基于深度学习的行为检测方法中特征提取网络的表达能力不足和对行为构成的建模不足等问题展开研究,具体研究工作如下:首先,本文构建了一个红外行为检测数据集,以弥补由于缺少红外行为检测数据集而引起的红外行为检测研究空白。该红外检测数据集覆盖不同角度、光照等多个场景,能够很好地模拟真实环境。同时,介绍了两种常用于可见光视频数据的深度学习行为检测框架,以便本文展开基于深度学习行为检测的研究。其次,行为识别是行为检测的核心模块,而现有行为识别方法中特征提取网络存在学习能力不足的问题。为此,本文提出了一种基于多级平衡特征金字塔的红外行为识别方法,并将其应用于后续的行为检测方法中。传统的卷积神经网络往往不断加深网络层来获取更好的表达能力,忽略了对浅层特征的运用。本文提出的方法使用并行的卷积块来构成特征金字塔以保持不同分辨率的特征。同时,使用相同深度的语义特征产生特征金字塔,以此来达到特征平衡的目的。最后,使用非局部注意力机制增强不同分辨率特征。与传统的深度学习网络框架相比,实验结果表明,该方法能够同时使用不同分辨率的特征用于行为分类,有效地提升行为识别的效果。最后,本文结合上述提及的行为识别算法提出了一种基于高斯核函数时域生成策略的红外行为检测方法。该方法在本文构建的红外行为检测数据集上展开研究,吸收现有行为检测方法中行为评分分组算法的优点,充分利用了高斯核函数行为时序信息建模能力。具体地,该方法使用高斯核函数学习一维特征图上每个单元时域候选区域的表达方式。同时,使用高斯核函数分组算法将有关联的高斯核函数合并成新的时域候选区域。实验结果表明,该时域候选区域生成方法比其他方法有更好的行为时间边界定位能力,提升了行为检测算法的性能。