行为分析的目的是从视频中检测和识别正在发生的行为,使得计算机系统能够理解行为并对场景进行进一步的语义描述。然而,海量视频数据的背后蕴含的是参差不齐的视频内容,这无疑给视频行为分析带来了巨大的挑战与压力。当前已有的各种分析模型虽然能够较好地对视频中的行为进行分析和识别,但是仍然存在一定的局限性:行为分析模型多数局限于底层特征,难以表达行为发生的具体过程;复杂的背景噪声和光照条件的变化,使得视频中包含了大量的背景冗余信息;视频时长的长短不一使得视频中包含了大量与行为分析不太相关的冗余帧。对此,本文通过行为分析任务基本特征,结合循环神经网络的信息依赖特性,在长短期记忆网络中引入时空关注度机制,挖掘时空语境信息,探索行为表达过程,并且能够提取视频中关键帧的显著性区域,提取有效信息,强化行为表达。针对上述问题,本文主要工作如下:(1)针对当前大多数行为分析仍然包含大量的噪声信息以及无法从认知角度理解行为的表达过程,本文在长短期记忆网络中引入关注度机制,挖掘行为时空语境线索,关注时空有效信息,提高行为分析效率。(2)针对当前大多数的动作提议研究方法的效率低下及步骤繁琐等问题,本文提出基于空间关注度的动作提议方法,挖掘场景中重要的刺激而抑制那些不重要的背景噪声,并且模型训练仅仅需要行为的类别信息而无需行为的真实边界框,进一步提高了动作提议的效率。(3)针对现实视频场景中含有大量的背景噪声信息,为了更加准确地对视频中的行为进行表达,在利用外观特征的基础上,采用双流网络进一步利用行为的时序运动特征挖掘行为的详细动作信息,而且由于视频的时长不一且动作发生的区域不同,提出的时空关注度机制可以有效提取关键帧的显著性区域,减少视频中的冗余信息对行为识别的干扰。