近年来,视频媒体设备产生了数以亿计的数据量,仅仅依靠传统分析方法效率不高,会消耗大量的人力物力,这给基于视频的人体行为识别算法带来了挑战。另一方面,早期算法对单一视频环境下的简单人体行为识别结果较好,但是在复杂的真实场景中,识别准确率不能满足要求。因此,本文主要研究复杂场景下的两类人体行为识别任务,分别为单目标人体行为识别和多目标人体行为识别,从多维度对特征进行提取,并提出了两种网络模型,主要内容如下:（1）提出了一种单阶段端到端的时频域网络（Time and Frequency Network,TFNet）,将基于DCT（Discrete Cosine Transform）变换的频域学习方法应用在人体行为识别任务上。该网络同时考虑了时空和DCT系数特征,对应到两个主干分支,分别为时域分支和频域分支,并通过改进的基于注意力机制的特征融合算法将两个分支提取的特征进行深度融合。在JHMDB51-21、UCF101-24、AVA-80这三个数据集上做了充分实验,m AP（mean Average Precision）相对都得到了提高,分别达到了67.3%、78.29%以及31.3%的准确率。实验结果表明,TFNet对单目标和多目标人体行为的识别均取得了优异的结果,并验证了DCT系数特征对参数优化的有效性。（2）提出了一种自适应三维卷积网络（Adaptive Convolutional Neural Network of 3D,Ad CNN-3D）。本文通过构建一个具有自适应不同大小感受野的多分支三维卷积单元,进而构建出整个三维网络模型,并用该三维网络模型替换TFNet时域分支的主干网络。由于经过替换改进后的模型没有在大型人体行为识别数据集上预训练的权重,使用普通的参数初始化方式无法在JHMDB51-21、UCF101-24这些较小数据集上学习到泛化的行为特征,导致训练难以收敛,准确率不高。因此,本文使用了“Joint-Training”策略,即通过联合AVA-80数据集,将其作为训练辅助集,使得模型在JHMDB51-21和UCF101-24目标数据集上取得了更好的准确率,同时具备自适应感受野大小的能力。综上所述,本文围绕单目标与多目标人体行为识别任务,利用深度学习的方法,提出了基于频域特征的时频域网络TFNet,并在此基础上对TFNet的自适应性展开了研究,具有一定的研究意义和实用价值。