观察和理解他人行为是正常人类生活中的一项基本技能,同时,现代人类心理学的一个重要的研究分支就是观察人类的动作行为并进行分析。动作识别是健康监测、人机交互、机器人以及其他很多应用的基础技术,一直以来都受到研究人员的广泛关注。该方向不仅拥有重要的理论研究价值,还有着广泛的应用前景。研究表明,多模态信息融合的方法可以提高人体动作识别准确性。因此,在动作识别中,充分获取和高效利用多模态动作数据中的特征信息非常重要,这有利于我们将模型应用到实际生活中。但是,如何快速而有效地获取多模态动作信息的内在联系来进行高效学习是一项具有挑战性的工作。本论文依托于国家自然科学基金《基于子空间学习的多视图鲁棒一致性表达研究》,分别研究了基于骨架序列的动作识别、基于骨架序列和RGB视频多模态信息的动作识别问题。首先,本文提出一种使用骨架联合距离特征结合三尺度运动信息的极其轻量级的神经网络模型,来高效地实现基于骨架的动作识别。本文使用骨架的联合距离特征并充分利用多尺度运动信息,有效地对动作数据进行编码。还使用深度可分离卷积块,用于有效地从骨架数据中学习语义特征。本文还利用Dropout层随机丢弃不同尺度的运动信息,从而可以实现自适应地提取多尺度的运动特征。本文在SHREC、JHMDB、NTU-RGBD三个数据集上对提出的模型进行了实验对照,实验结果证明了模型的有效性。通过使用轻量化的网络结构,模型能够在单个CPU/GPU上以超快的速度执行动作识别。其次,本文从通道注意力机制出发,采用了一种高效的通道注意力机制并用于多模态信息学习中,提出了基于高效通道注意力机制的多模态动作识别网络。在多模态信息融合的中间阶段,视频和骨架两个模态的特征信息在不降低维度的情况下进行逐通道全局平均池化,然后,本文通过捕获每个通道特征及其k个近邻的通道特征来获得特征信息的跨通道交互。然后,本文利用这种融合机制在视频模态预训练模型和骨架模态预训练模型进行中间层融合,并随后将两个模态分支最终的输出特征的输入到视频-骨架门控信息融合模块中,进行分类。本文在两个流行的大型多模态动作识别数据集中进行了测试,在NTU-RGBD和UTD-MHAD数据集中都达到了较好的效果,证明了本文所提出的基于高效通道注意力机制的多模态动作识别网络,有效地融合了骨架特征和视频特征,并显著提高了多模态人体动作识别的准确率。本文在多个动作识别数据集对上述的两个网络模型进行了充分而有效的实验,证明了网络模型的有效性。