随着智能产品及互联网的迅速发展,网络中充斥着大量良莠不齐的数据,而在这些数据中,视频占据了主要部分,若能够利用智能算法对视频数据进行自动识别,尤其是识别视频中的人类行为,就可以针对视频内容进行有效的监控,进而对视频中涉及的危险行为进行识别并预警或过滤。另一方面,在对视频内容进行监控时,只能基于已经发生的行为进行识别与分类,无法推断视频中人类的意图,而分析人类意图对于行为的识别与预测都具有至关重要的作用,但如何用计算机来模拟人类的这一能力仍是一个难题。若能利用计算机模拟人类的凝视追踪能力,对识别不完整视频的行为将会有很大的帮助。在目前的行为识别任务中,如何充分有效的利用行为表象信息和行为动态性信息是提升行为识别精度的两个决定性因素。行为表象信息往往通过在视频帧上进行稀疏采样来获取,而行为动态性信息大多利用光流场来描述,但目前的大部分方法在网络构建中都忽略了二者的潜在关联,导致二者并未真正的互补。针对这一问题,本文提出三流结构来获取更丰富的行为信息。每一个流结构采取不同类型的数据进行输入,利用采样后的RGB帧描述行为表象信息,利用一组按照通道维度叠加的光流场描述行为的动态信息,利用动态图描述行为的时空交互信息,其中,动态图指的是在RGB帧序列上做排序池化得到的结果图。三流结构能够分别捕获视频序列中不同模态的行为信息,实现对行为更好的建模。本文在UCF101数据集上进行了丰富的实验,验证了不同的网络作为基本骨架所达到的准确率,并与其他的一些流行方法进行比较。实验结果表明本文中提出的三流结构相比于一些其他的算法捕获了行为更加丰富的特征,从而得到了更好的识别效果。现存的凝视追踪方法将这一任务分解为两个子任务:具有显著性的物体区域检测以及人物凝视方向估计。这一类的方法可以检测出人物凝视方向内的显著物体,但忽略了人与场景、人与物、物与物之间的关联性信息,因此会导致小物体被忽略,大物体更容易被判断为凝视物体,从而无法很好的处理复杂场景下的数据。针对这一问题,本文提出一种三流网络结构,分别获取图像中的显著性物体、人物的凝视方向估计以及图像中目标与场景之间的相关性。显著流中采用原始的RGB图像作为输入,凝视流中采用人物的头部图像以及头部坐标作为输入,关联性流中采用图像中各个目标物体之间的空间位置关系矩阵作为输入,三个流结构最后的输出结果均为一个包含了特征信息的一维向量。本文在Gaze Follow数据集上进行了大量的实验,通过对比实验验证了关联性对于场景理解的重要性,并与其他的方法以及人类的凝视能力进行了比较,通过4个量化指标验证了网络结构的有效性。实验结果表明本文中的三流结构可以更好的处理复杂场景下的凝视追踪任务。