人体行为识别是当前计算机视觉领域的一个重要研究分支,通常分为个体行为识别与群组行为识别两个任务。个体与群组行为识别在研究上基于相似的理论,而在方法上有所不同,且具有各自的局限性。当前已有的个体行为识别方法需要大规模数据集预训练支撑,学习成本高,且无法充分利用输入数据中的时间信息。而已有的群组行为识别方法在群组中个体之间的关联信息的挖掘方面不够充分。本文在总结了行为识别方法的基础上,针对两种行为识别任务,主要解决了行为识别中的以下几个问题:第一,对于个体行为识别,如何有效利用时间信息提升识别性能,是个体任务中一个重要的问题;第二,群组中个体之间是有关联的,对群组中个体间的关系进行分析也是群组行为识别中一个关键的问题。针对这些问题,本文做出以下工作:(1)针对目前主流网络需要大型数据集预训练以及无法有效利用跨时间信息的问题,提出了基于双流卷积网络与膨胀3D卷积网络的深度神经网络模型。并重新设计网络结构,命名为多流3D融合网络。首先,利用改进的双流网络与膨胀3D网络提取人物动作特征。再利用分段长短期记忆网络提取时间特征。最后利用残差连接方法融合特征,得到最终的个体识别结果,实现了精确的个体行为识别。(2)针对目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升的问题,提出了基于近邻传播聚类的层次关联模块的深度神经网络模型,命名为聚类关联网络。首先,利用卷积神经网络提取场景特征,再利用区域特征聚集提取场景中的人物特征。然后,利用近邻传播聚类的层次关联网络模块提取群组关联信息。最后,利用长短期记忆网络融合个体特征序列与群组关联信息,并得到最终的群组识别结果。聚类关联网络属于有监督学习,可实现端到端训练。在Collective和Volleyball数据集上的实验结果表明该方法相比其他前沿方法具有更高的识别精度。