随着电子技术和计算机技术的迅速发展,人们广泛使用智能算法来提高生活质量。其中,第一视角的行为识别算法为智能医护、健康监护以及智能养老等领域提供了关键的技术支撑。本文针对第一视角视频人物肢体内容缺失,构建了第一视角及多传感器混合的行为识别数据集,研究了基于多传感器信息融合的行为识别方法,融合视频、加速度和角速度多传感器信息,解决了传统第一视角行为识别运动特征难以提取的问题,提升了行为识别的准确率。本文主要研究内容如下:1.本文基于可穿戴智能眼镜设备构建了第一视角及多传感器混合的行为识别数据集。本文数据集通过摄像头、加速度计和陀螺仪同步的方式,记录了12类行为的视频、加速度和角速度数据。本文数据集规模较大、数据类型全面、场景丰富、视角开阔,是本文行为识别算法研究的重要数据基础。2.本文研究了一种基于自适应运动采样的行为识别方法。针对均匀采样间隔与动作节奏错位的问题,提出利用加速度和角速度信息筛选出运动强度前K大的时间候选框,促使网络采样运动相关的有效视频帧。为了使网络对动作更加敏感,本文通过卷积网络捕捉运动最激烈时间段的视觉特征和运动特征来增强主干网络,有效提高了行为的识别准确率。3.本文研究了一种基于时空卷积网络和时间序列模型的三支路网络。从关联多模态特征来提高网络鲁棒性的角度出发,本文通过3D卷积支路、Bi LSTM和双头注意力支路以及GRU支路,充分提取了视频深层的时空特征及加速度、角速度的运动特征和运动模式特征。为提取多模态特征的互补信息,基于多次非线性映射和拼接的方法设计了多层递进的特征融合网络,使得网络能有效利用多模态信息。4.本文研究了基于统一Transformer语义框架的双支路网络。从在统一语义空间中融合不同模态特征的角度出发,本文首先设计了基于视觉空间多尺度和运动时间多尺度的双支路Transformers,来提取统一语义的视觉时空特征和多尺度的运动特征,然后利用互为对偶的注意力解码机制来完成特征的跨模态融合,最终通过时间大尺度Transformer完成不同模态信息的融合汇聚。在统一Transformer语义空间中通过跨模态的方式融合特征,有效地提升了第一视角行为的识别准确率。