论文部分内容阅读
成像式光电容积描记法(Imaging Photoplethysmography,IPPG)能从拍摄的人体面部或指端等身体部位的视频中提取细微的动态生命体征信息。随着IPPG技术的普及,各种不同的信号处理方法从视频中提取各种生理信号已成为研究热点。传统的人机交互方式已无法满足人类的需求,因此自然便捷的、非接触式的人机交互控制模式逐渐引起人们的注意。本文主要研究了基于面部视频实现非接触式的人机交互系统。为此,研究了IPPG技术结合时间和空间滤波方法对眨眼、打哈欠以及血容量脉冲(BVP)的检测。为了提高IPPG技术在获取人脸信息的性能,分析比较了基于G分量和基于ICA的IPPG方法。为解决ICA的输出不确定性,本文提出了利用空域特征识别BVP信号与利用频域特征识别眨眼信号的方法。最后,根据基于G分量的生理特征检测方法,开发了一种基于面部视频的多媒体播放控制系统,实现了眨眼、心率与哈欠的检测,并将连续的眨眼转换为控制命令,对多媒体播放器进行控制。本文所做的工作主要包括以下内容:第一,本文分析了眨眼、心率与哈欠三种生理特征的研究现状,然后分析比较了基于Viola-Jones算法与基于肤色的两种人脸检测算法,并择优采用基于肤色的人脸检测算法。第二,本文分别介绍了基于G分量与基于ICA的IPPG方法检测生理特征。提出了利用混合矩阵空间分布特征提取BVP信号和利用频域信息提取眨眼信号的方法。在哈欠检测中,根据哈欠与惊讶张嘴持续时间的不同,对惊讶与哈欠进行有效区分。第三,比较了在有无光变、戴眼镜、以及存在不同方向的头部运动等场景下基于G分量与基于多通道的两种方法的眨眼检测结果。分析了不同区域提取IPPG信号以及光线等干扰信号对心率检测的影响。比较了惊讶与哈欠的区别,分析了各种干扰信号对哈欠检测的影响。大量的实验数据表明基于G分量的IPPG方法使用的算法复杂度较低、运算速度快,但是对于不同的生理特征信号需要选择不同的区域;而基于ICA的IPPG方法在有光线变化干扰或存在运动时有明显的优势,并且可以在相同区域提取的信号分离出不同的生理特征信号,但是其算法复杂度较高、运算速度较低,不利于实时系统的开发。第四,为了验证连续眨眼动作在多媒体播放控制中的应用可行性,本文根据所提的连续眨眼检测方法,对不同被测者的眨眼脉冲信号特征(如单位时间内有效眨眼次数和眼动脉冲形态等)进行分析和统计。在此基础上,选择合适的时/空间分析窗口和滤波参数,对窗内眨眼脉冲进行检测、编码和控制命令转换。在C++环境下开发了基于面部视频的多媒体播放控制系统,实现了眨眼、心率及哈欠检测。实验结果表明,根据本文所提的连续眨眼检测方法,用户利用所建人机交互平台,可有效实现对多媒体播放器的控制,准确率达到92.95%。本文所提的眨眼检测方法和利用眨眼控制的人机交互模式具有良好的可操作和应用推广潜力。