新生儿医护过程往往伴随着致痛操作,而大量的疼痛刺激会对新生儿的身心产生短期或长期影响,造成不可逆转的伤害,因此及时对新生儿的疼痛程度进行评估具有实际意义。但受医疗资源的限制,人工评估存在间歇性和主观性等缺陷,为了避免人为因素造成的评估偏差并减少人力消耗,本文研究了基于双流特征深度学习的新生儿疼痛表情识别方法。本文主要研究内容如下:建立了新生儿疼痛表情视频和图像数据库。与医院展开合作,拍摄高质量的新生儿疼痛表情视频,并由医护人员对视频类别进行标注,分为平静、哭闹、轻度疼痛、重度疼痛四类表情。经数据预处理,建立了适合模型训练的视频和图像数据库。研究了基于迁移学习和深度学习的新生儿疼痛表情图像分类方法。采用三种迁移学习方法,对比了迁移自ImageNet特征的AlexNet、VGG-16、Inception-V3、ResNet-50、Xception模型和迁移自VGG-Face特征的VGG-Face模型在新生儿疼痛表情图像数据库上的识别效果。最终测试效果最好的模型为只训练顶层的VGG-Face模型,识别率可以达到79.2%。结果表明:适合的深层模型可以有效地拟合目标数据,有助于解决复杂的分类任务;根据数据规模选择相应的迁移学习方法,可以缓解数据匮乏问题,抑制过拟合现象;从与目标域相似的源域迁移学习,能够加速收敛,提高识别率。研究了基于时空特征的新生儿疼痛表情视频分类方法。设计了适合本文任务的三维卷积神经网络结构,对视频数据进行预处理并送入模型训练。对比了三维卷积神经网络和基于空域特征的VGG-Face模型在测试集上的效果。实验表明,三维卷积神经网络结构简明、特征紧凑,能够很好地提取时空特征,测试识别率达到59.27%。两种模型各有优劣,基于迁移学习的空域特征模型VGG-Face对平静、哭闹、轻度疼痛这三类表情识别效果更好,而时空特征模型三维卷积神经网络对重度疼痛类别识别效果更好。提出了基于双流特征深度学习的新生儿疼痛表情识别方法。基于空间信息的模型通过迁移学习可以达到较高的图像识别率,基于时间序列的模型能够获取帧间关系。为结合两种模型的优势,本文提出了VGG-Face模型和三维卷积神经网络相融合的方法。当融合系数为0.5时,获得了最好的融合效果,对视频数据库的测试准确率达到60.96%,相比三维卷积神经网络提升了1.69%。最后,开发了一款实时的新生儿疼痛表情识别系统。系统由检测模块、识别模块和系统界面三部分构成。检测模块使用Dlib工具库进行人脸检测和关键点检测,据此对人脸区域进行截取、校正等预处理。将处理后的图像送入识别模块进行预测,识别模块采用MobileNet模型,很好地平衡了识别率和实时性。最终以可视化的方式展示识别结果。