行为识别是根据视频图像帧序列,通过计算机视觉处理技术对视频数据进行处理与分析,自动识别视频中的人体行为,是视频分析领域研究的热点问题,在智能视频监控、视频检索、人机交互等领域有着广泛的应用。当前已有的各种行为识别模型虽然能够对视频中的行为进行较好地分析和识别,但依然存在一定的局限性:端对端的行为识别模型难以解释行为发生的具体过程;复杂背景、运动速度变化、视角和光照条件变化等使视频包含了大量的背景冗余及噪声信息,严重干扰有用信息的提取。对此,本文围绕上述行为识别模型存在的问题,通过分析行为识别任务基本特征,结合多尺度特征和模式理论基本思想进行深度研究。具体研究内容包括:从行为不同时间尺度的特征描述出发,研究融合多时间尺度深度特征的行为识别;从行为在时间轴上的演进过程出发,研究基于原子动作序列建模的行为识别,通过模式理论思想挖掘完整行为的时序结构,从而实现行为识别。本文主要工作如下:(1)针对行为识别任务中不同行为在时间轴上变化速率不同的问题,本文提出多时间尺度CNN-LSTM的行为识别方法,将视频划分为不同的时间尺度,利用残差3D网络构建视频段双流特征表达,并进一步采用长短期记忆网络对整个视频进行时序建模,最后融合各时间尺度的特征表达,从多个时间尺度对行为进行建模分析可以有效提高行为识别性能。(2)针对当前大多数深度学习方法无法从认知角度解释行为发生过程从而识别行为的缺陷,本文采用k-Means方法构建原子动作的中层语义表达,将行为发生过程建模为一系列原子动作单元序列,从而挖掘视频行为的时序结构,使行为识别具有可解释性。(3)针对当前现实场景下的视频包含大量噪声及背景冗余的问题,本文结合模式理论概念,提出关键生成器提议操作去除视频中低置信度原子动作单元,选择重要前景信息,并提出可解释操作度量各原子动作间的连接强度,通过在概率框架下最大化时序结构,进一步抑制噪声,获得最优视频解释,通过序列匹配方法实现行为识别。