随着手机等移动设备的广泛应用以及5G网络的逐渐普及,人们获取视频图像的方式在不断丰富。这些视觉图像中,基于人体的图像占据了大量比例,它们为人体的智能任务研究提供了充足的数据。其中,人体语义分割和骨骼动作识别作为绝大多数面向人体的智能化视觉处理入口,为人体行为分析等更高级别任务提供了数据支撑和更多可能,是两项十分重要的研究方向。本文针对上述两项任务,展开了研究。贡献主要为以下几点:本文设计了一种新型卷积神经单元,一维对角卷积单元。包含左对角卷积单元和右对角卷积单元,提取输入特征图中斜向的特征。这种卷积单元能够针对人体语义分割任务上的分割边缘错误问题,对其进行修正。一维的对角卷积单元能够更好的提取图像不同语义交界处的有效信息,适应图像本身的方向性。同时,两种对角卷积单元能够适应不同语义交界处的多种情况。针对语义分割模型参数量大难以应用在移动设备上的缺陷,基于上述对角卷积单元,设计了一种包含多种卷积单元的卷积块:方向卷积块。包含四种方向的一维卷积单元以及一个二维卷积单元。该卷积块能够对原始的标准卷积单元进行有效替换,在不改变网络最终性能的情况下,减小网络模型的参数量。本文的方向卷积块能够对任意神经网络的卷积单元进行无差别替换,并无需改变模型本身的架构。在人体语义分割任务上,本文验证了提出的方向卷积块的效果。在Pascal PersonPart数据集上,我们用替换之后的模型取得了63.4%的均值交并比,相较于原始模型提升了0.7的百分点,并且略微减少了网络的参数量。基于骨骼序列动作识别任务,设计了一种新型的时空图卷积单元。原始的时空图单元没有充分利用时间信息和空间信息,而本文设计的新型时空图卷积单元重新组织了时间和空间信息的利用形式,分出了四条支路获取时间信息和空间信息。并设计了两种方式对不同的信息进行融合。在NTU-RGBD数据集上,本文的方法分别在Cross-view和Cross-subject两种数据集分类方式上取得了93.51%和86.29%的正确率,相较原始的时空图卷积单元分别提升了0.7和1.1的百分点。