近年来,第一人称行为识别因其在医疗保健、智能家居、安全监控等领域的广泛应用而受到模式识别和人工智能领域的广泛关注。在传统的第一人称行为识别算法中,主要通过传统图片处理和计算机视觉技术来对不同行为进行分类,因此会存在一些缺陷,如识别准确率低、计算量大、算法复杂等问题。最近一段时间以来随着深度学习技术的不断发展,其在计算机视觉的各个应用领取都取得了全面的突破,故将深度学习技术引入第一人称行为识别将带来更大的优势。在本文研究中,我们首先针对图片流数据利用图片深层特征对第一人称行为进行分类,通过在不同数据集上的实验对比结果,选择较好的算法模型。然后针对e Button数据集和多模态数据集提出并实现了多流直接融合框架和多流层次融合框架。在两个融合框架中,采用不同的网络模型分别对运动传感器数据和图片流数据进行建模,最后通过不同的融合策略实现第一人称行为识别。在多流直接融合框架中,采用长短期记忆网络(LSTM)和卷积神经网络+长短期记忆网络(CNN-LSTM)分别对传感器数据和图片流数据进行建模,然后按照平均值池化和最大值池化两种不同的策略直接融合传感器数据和图片流的分类结果。在多流层次融合框架中,首先采用长短期记忆网络(LSTM)对传感器数据进行建模,然后对于低帧率和高帧率的图片流数据分别使用卷积神经网络(CNN)和卷积神经网络+长短期记忆网络(CNN-LSTM)进行建模。其中传感器数据仅用于根据运动状态进行运动状态分组,而图片流数据则用于在运动状态分组中进行进一步的特定行为识别。因此,无论是运动传感器数据还是图片流数据都是以其最合适的分类方式进行划分,以显著降低因传感器差异带来的对融合结果的负面影响。实验结果表明,本文提出的多流直接融合框架在识别精度上相对于现有的直接融合框架没有突出性的优势,而多流层次融合框架比现有的直接融合框架精度提升了6%。而且本文所提出的两个融合框架都避免了现有方法中计算光流的耗时,从而更适合实际应用。