基于红外与可见光双光谱视频的行为识别旨在通过计算机视觉技术和机器学习的方法对多模态视频中出现的行为进行识别。由于两种光谱图像能够提供更加丰富的信息,双光谱行为识别可以广泛地应用于很多场合,例如机场、车站、学校等人流量较大的公共场所,也可以应用于银行、仓库等对夜间监控有需求的场所。本文针对红外与可见光两种光谱各自的优势与互补性对行为识别问题展开研究,具体研究工作如下:首先,本文对现有双光谱行为识别数据集进行了扩充与标注,并增加了数据集的场景、角度、遮挡干扰和季节变化等因素,使数据集的样本更加丰富。在数据集的拍摄过程中,红外与可见光两种光谱的相机同步拍摄。由于两种摄像头的分辨率与视角存在一些差异,本文提出了一种用于双光谱图像的配准方法。针对红外与可见光图像的差异性,该方法设计了一种二阶网络结构。该结构首先对可见光图像进行映射操作,将可见光图像生成与红外图像类似的光谱。在第二阶段,该结构以生成的图像为基准,使用光流场与采样器对红外图像进行变换操作,实现跨光谱配准。其次,针对人眼对视频分析过程中的注意力机制,本文提出了一种基于自适应池化的行为识别方法。传统的池化算法在处理不同视频的不同帧时,都采用同样的操作,然而对于不同的行为视频,其关注点应该是不同的。因此,该方法将视频特征的池化过程与视频行为分类任务设计为一个优化问题。通过行为识别任务的训练过程,自动学得每类行为最优的池化参数。与传统池化方法相比,该自适应池化方法在不同特征表达上都取得了更好的效果,提升了行为识别的准确率。最后,本文研究了一种面向不确定光谱环境的行为识别算法。广泛的研究表明,红外和可见光光谱具有很好的互补性。然而,在实际应用场景中,可能存在只能使用单种光谱数据的场景,例如在一些涉及隐私保护的场所只能使用红外光谱。为此,该方法设计了一种基于双光谱视频的生成式对抗网络。该网络通过监督学习,利用生成式对抗网络中的生成器,仅使用单种光谱视频即可生成出包含双光谱信息的完整特征表达,同时在判别网络中完成行为分类任务。实验结果表明,该方法能在很大程度上提高单种光谱视频的行为识别准确率。