人体行为分析在计算机视觉中是备受关注的探索重点之一,其模型和算法的更新随着互联网的进步日新月异。在丰富的视频资源推动下,剪辑过的视频在行为识别的准确率提升格外显著。然而现实生活中的视频数据内容丰富并且常常包括多种类型的行为,一般连续且未经过剪辑。如何对网络上海量的视频进行合理有效的处理是一个十分重要的研究课题。基于此,一个极富有挑战性的任务——时序行为检测,需要在未剪辑过的视频数据中检测出行为片段,也就是时序行为提名,不仅需要识别出该行为片段的行为类别,还需要在视频中定位出每个行为发生的开始与结束时间。然而处理包含多类型行为的视频数据具有一定的复杂性,同一个视频上可能具有多个行为片段与行为类型,所以时序行为检测研究具有一定的挑战性。本文为了提高时序行为提名与检测的性能,提出了三种高效算法用于时序行为提名与检测,主要工作如下:(1)基于高效的BSN(Boundary sensitive network)算法的网络结构,提出一个基于行为关键帧连接网络的提名生成算法网络(Action Keyframe Connection Network),简称为AKCN。AKCN构建了一种新型的临时行为提名生成网络,该网络结合了长短时记忆神经网络(Long Short-Term Memory,LSTM)与卷积神经网络(Convolutional Neural Networks,CNN)对时间序列进行建模,更有效地检测行为的开始帧和结束帧。增强了不同时序特征在整个网络中的使用。这样的连接方式提取的特征向量更加具有判别力与鲁棒性,帮助网络提升了算法的准确率和效率。(2)在AKCN的基础上引入了注意力机制,提出用于特定行为检测的引入注意力机制的行为关键帧连接网络。注意力机制的主要作用是通过学习各个特征之间的相似性关系,借以给予不同的特征所对应重要程度的权重,也就是对重要的特征会给予数值较大的权重,对当前不重要的特征给予数值较小的权重。通过这种方式可以达到显著增强检测准确性的效果。本文将包含注意力机制的特征关系模块嵌入特征提取与CNN网络中用以去除冗余的关键帧。实验证明引入注意力机制模块使得算法达到更高的高效和准确的水平。(3)基于高效的AKCN算法,通过进一步引入类别判断网络,提出基于联合网络的特定时序行为检测算法。在提名生成阶段,当开始帧和结束帧合并为同一行为的概率大于某个阈值时,作者允许生成行为提名。把行为提名作为现有行为识别网络的输入,经过上述算法对视频数据进行测试,完成了构建特定行为检测网络的任务。