行为识别技术对计算机视觉的发展起到至关重要的作用。在最近的研究中,由于数据集规模的扩大,基于深度学习的行为识别技术逐渐取代了传统的机器学习算法。目前行为识别任务中采用的主流算法主要包括双流卷积网络、长短期记忆网络、图卷积网络、三维卷积网络。本文分析了相关行为识别算法的优缺点。针对这些缺点,本文先后改进了基于骨架数据的行为识别算法和基于RGB视频数据的行为识别算法。最后提出多模态融合和一种时域特征增强的方法。本文提出的模型保留了骨架数据与视频数据各自的优点,提高了行为识别算法分类正确率。其主要工作和创新点如下。（1）基于骨架数据的行为识别方法对人的外观和光照变化具有较强的鲁棒性,但多数研究成果中忽略了骨架数据本身包含的高阶特征。针对该问题,本文提出了多流自适应图卷积神经网络模型。该方法从骨架数据中提取高阶时空特征,如速度特征、加速度特征和三维关节之间的相对距离特征等。本文提出了多流特征融合的方法将高阶特征融合。实验表明本文提出的模型在两个大规模数据集NTU-RGBD和NTURGBD-120上达到了最优效果。此外,本文提出时域特征增强的方法,与其他单流特征的方法相比较,分类准确率最高。最后,本文提出了轻量级的图卷积神经网络用于学习二维骨架数据,在正确率损失小于1%的情况下,训练速度能够提升40%。（2）基于RGB数据的双流神经网络方法在行为识别任务中使用广泛,但在特殊条件下,光流法将失去本身优势。为验证光照变化对光流法的影响,本文构造出有亮度变化噪声的数据集,并使用该数据集证明了在光照强度变化下,光流法将失效。本文提出分解三维卷积核,同时添加大型数据集的预训练模型的方法进行训练,实验结果表明分解三维卷积核和添加预训练模型的方法能够提升网络分类正确率。最后本文提出时域特征增强网络用于学习图像序列中的时间维度特征。本文提出的方法在HMDB51数据集上,分类正确率提升了4.2%。在NTU-RGBD-16数据集的X-Sub和X-View两个评估标准上,分类正确率分别提升了5.7%和5.1%。（3）基于骨架的数据缺失图像信息,而基于RGB视频的数据因图像信息过多而导致学习到的特征没有针对性。针对各自数据的缺陷,本文提出融合骨架数据与RGB视频数据的方法,该方法将基于两种数据模态的分类结果合并。新方法中的双流模型包含了基于骨架信息的时空图卷积模型和基于图像信息的（2+1）D卷积神经网络模型。本文使用NTU-RGBD骨架数据集中易错的16种行为类别,构造出NTU-RGBD-16骨架数据集和RGB数据集。并在这两种模态的数据上,验证新双流模型的有效性。实验结果表明,骨架特征和图像特征的作用是互补的,最终分类准确率有明显提高。