人体行为识别一直是智能视频分析领域的研究热点,近几年被广泛应用在虚拟现实、人机交互以及短视频拍摄等方面,具有重大研究意义。随着深度学习算法在计算机视觉中的快速发展,基于深度学习的行为识别算法层出不穷,研究者们从识别准确率、识别速度、模型结构等方面对行为识别算法进行创新,然而目前的行为识别算法在识别精度和网络模型复杂度上仍有改进的空间。得益于深度学习尤其是长短期记忆网络在行为识别领域中的高速发展,本文在长短期记忆网络的基础上,对已有的行为识别网络进行改进,以实现对行为识别算法的进一步研究。本文的主要工作如下:（1）针对传统长短期记忆网络只关注时序特征的问题,本文在传统长短期记忆单元的基础上,提出了一种输入微分的长短期记忆单元,将PID控制中的微分控制概念引入深度学习网络中。该方法不仅能够增加短期时间序列对动作识别的影响,而且考虑了人体做动作时不同速度和加速度对动作识别的影响,其中一阶微分对应动作速度,二阶微分对应动作加速度。本文将输入微分长短期记忆单元替换长期循环卷积网络中的基础长短期记忆单元,并在三个常用行为识别数据集上进行验证实验。（2）本文通过研究时、空微分对动作位姿信息处理的影响,考虑了动作速度和位置变化对于动作识别的影响,从控制的角度分析了时空长短期记忆网络,认为其可以添加强化微分特征的环节,从而增强动作速度变化和位置变化的特征。首先,本文在时空长短期记忆网络的基础上,提出了改进的时空微分长短期记忆单元,该单元结构能够同时兼顾时空信息和随时间变化的肢体位置变化信息。其次,本文进一步设计了适用于时空微分长短期记忆单元的堆叠方式,即在时空长短期记忆单元纵向传递的基础上增加了空间记忆状态的横向传递。本文将堆叠的时空微分长短期记忆单元在不同数据集上进行了准确率和稳定性测试,并与其他基于深度学习的行为识别算法进行了比较。