装配行为识别技术对于监测工厂工人装配流程、提高产品的装配效率等方面具有研究意义和价值。通过引入惯性传感器采集装配人员双手手腕在装配过程中的运动信息,目的是改善纯视觉信息下由于遮挡、不完全拍摄和装配物件小等原因给行为识别带来的影响,从而来提高装配行为识别准确率。搭建了一套多模态信息装配行为识别数据采集系统,主要由相机和两个IMU惯性传感器分别采集装配过程中俯拍视频信息和装配员双手手腕的三轴运动加速度信息。三个传感器采用同时启动、在线同步方式获得在时间上完成对齐的样本信息。由于每一帧IMU信息与每一帧视频图像完成了对齐工作,对视频信息进行手动帧级的真值标注的同时,间接完成了对IMU信息的真值标注。利用搭建的多模态数据采集系统采集了两个不同装配目标的多模态数据集,Building Blocks Assembly数据集和Lego Assembly数据集。Building Blocks Assembly数据集采集了20名装配员装配积木过程的信息,积木的零部件较大、颜色差异明显,可用样本187个,8种装配类别,可以用来研究IMU信息对拍摄不完全画面的视频信息的补充作用。Lego Assembly数据集采集了30名装配员装配8款乐高的过程,乐高的零部件较小、颜色区分度小,可用样本960个,62种装配类别,可以用来研究背景复杂、遮挡严重情况下IMU信息对视频信息的补充效果。针对视频和IMU两种不同模态信息,由于数据维度特征的不同,在进行特征提取时,不同模态的数据采用的方法不同。视频数据通过ImageNet预训练模型加载到I3D网络的视频分支流进行特征提取。IMU数据则是通过3个1D卷积模块、2个卷积运算和3个池化操作对同一样本下的两个IMU数据分开训练再进行特征提取,利用对齐均值操作实现两个IMU特征在时间维度上保持长度与视频特征一致。分类网络可对视频特征、IMU特征以及融合后的多模态特征进行装配行为分类的训练和预测。分类网络主要采用1D的扩张卷积网络,在预测生成阶段使用10层双重扩张卷积层;预测细化阶段中,4个阶段中每个阶段使用11层扩张残差层。通过这种组合能够在保证准确率的同时还能保证相邻两帧之间的特征区分更加明显。通过利用采集的Building Blocks Assembly数据集、Lego Assembly数据集、公开数据集50 Salads及UTD-MHAD数据集对算法进行验证。通过对这四个数据集进行视频、IMU以及多模态之间识别效果的比较,根据实验结果证明多模态的识别效果优于单模态。分析Lego Assembly数据集中单款乐高各个装配类别的识别效果。利用本文在UTD-MHAD上各种模态的识别效果与之前的方法进行比较,验证方法的可行性。