随着计算机技术的发展,人工智能逐渐在日常生活中扮演起越来越重要的角色。计算机视觉作为人工智能领域的重要分支,它旨在让机器像人那样对看到的事物作出反应。恰逢如今进入视频大爆发的时代,各种平台、监控等无时无刻不在产生着大量的视频数据,而这些数据根本无法完全依靠人力去处理,因此需要视频理解的智能算法来提升效率。人作为视频内容的主体,是视频分析技术的重点关注对象。准确地对人体行为进行分析,是视频分析和理解的关键问题之一。在实际应用中,不仅视频行为的类别需要被分辨,行为的起始点和结束点也需要获取,这使得视频行为识别和视频行为定位成为该领域的热点。由于depth信息能够展现人身体不同部位的前后关系,从而呈现出更多的动作细节,本文将主要研究以RGBD数据作为输入的行为识别;另外,不包含行为边界详细标注的弱监督行为定位能够大量减少人力消耗,具有更好的实用价值,因此本文的另一项研究内容是弱监督的行为定位。虽然前人针对这两项任务已经提出了许多的方法,但是仍然存在着众多的挑战和困难。本文针对这些问题进行了研究,主要工作如下:（1）首先针对多数RGBD行为识别方法中depth信息时序特征提取被忽略以及不同模态之间关系没有被端到端的提取和融合的问题,本文提出了基于3D共有-特有框架双流网络（Two-Stream Network with 3D Common-Specific Framework,TSN-3DCSF）的RGBD行为识别方法。该方法以TSN网络作为基础,使用RGB视频帧和depth视频帧作为输入,利用4个互不共享参数的3D卷积块提取共有-特有特征,最终联合训练相似性损失,非相似性损失以及分类损失来优化网络参数。本文在多个RGBD行为识别数据集上进行了大量实验,结果证明了所提出方法的有效性。（2）其次针对弱监督行为识别中完整性和可分性的两大挑战,本文研究了特征擦除的基本思想,提出了基于深度片段选择网络（Deep Snippet Selective Network,DSSN）的弱监督行为定位方法。该方法主体包含四个分支:一条注意力分支用来产生类无关的注意力分数增强分类效果;两条擦除分支在擦除最具有判别性特征的同时给网络提供了关于背景的先验知识;一条背景抑制分支进一步压制背景特征的激活。通过这多条分支的共同作用,本文的方法实现了对完整性和可分性的保证。在两个广泛使用的数据集上的大量实验证明了所提出方法的有效性。