基于面部视频的多媒体播放控制系统

来源 :安徽大学 | 被引量 : 0次 | 上传用户:arnohuang123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
成像式光电容积描记法(Imaging Photoplethysmography,IPPG)能从拍摄的人体面部或指端等身体部位的视频中提取细微的动态生命体征信息。随着IPPG技术的普及,各种不同的信号处理方法从视频中提取各种生理信号已成为研究热点。传统的人机交互方式已无法满足人类的需求,因此自然便捷的、非接触式的人机交互控制模式逐渐引起人们的注意。本文主要研究了基于面部视频实现非接触式的人机交互系统。为此,研究了IPPG技术结合时间和空间滤波方法对眨眼、打哈欠以及血容量脉冲(BVP)的检测。为了提高IPPG技术在获取人脸信息的性能,分析比较了基于G分量和基于ICA的IPPG方法。为解决ICA的输出不确定性,本文提出了利用空域特征识别BVP信号与利用频域特征识别眨眼信号的方法。最后,根据基于G分量的生理特征检测方法,开发了一种基于面部视频的多媒体播放控制系统,实现了眨眼、心率与哈欠的检测,并将连续的眨眼转换为控制命令,对多媒体播放器进行控制。本文所做的工作主要包括以下内容:第一,本文分析了眨眼、心率与哈欠三种生理特征的研究现状,然后分析比较了基于Viola-Jones算法与基于肤色的两种人脸检测算法,并择优采用基于肤色的人脸检测算法。第二,本文分别介绍了基于G分量与基于ICA的IPPG方法检测生理特征。提出了利用混合矩阵空间分布特征提取BVP信号和利用频域信息提取眨眼信号的方法。在哈欠检测中,根据哈欠与惊讶张嘴持续时间的不同,对惊讶与哈欠进行有效区分。第三,比较了在有无光变、戴眼镜、以及存在不同方向的头部运动等场景下基于G分量与基于多通道的两种方法的眨眼检测结果。分析了不同区域提取IPPG信号以及光线等干扰信号对心率检测的影响。比较了惊讶与哈欠的区别,分析了各种干扰信号对哈欠检测的影响。大量的实验数据表明基于G分量的IPPG方法使用的算法复杂度较低、运算速度快,但是对于不同的生理特征信号需要选择不同的区域;而基于ICA的IPPG方法在有光线变化干扰或存在运动时有明显的优势,并且可以在相同区域提取的信号分离出不同的生理特征信号,但是其算法复杂度较高、运算速度较低,不利于实时系统的开发。第四,为了验证连续眨眼动作在多媒体播放控制中的应用可行性,本文根据所提的连续眨眼检测方法,对不同被测者的眨眼脉冲信号特征(如单位时间内有效眨眼次数和眼动脉冲形态等)进行分析和统计。在此基础上,选择合适的时/空间分析窗口和滤波参数,对窗内眨眼脉冲进行检测、编码和控制命令转换。在C++环境下开发了基于面部视频的多媒体播放控制系统,实现了眨眼、心率及哈欠检测。实验结果表明,根据本文所提的连续眨眼检测方法,用户利用所建人机交互平台,可有效实现对多媒体播放器的控制,准确率达到92.95%。本文所提的眨眼检测方法和利用眨眼控制的人机交互模式具有良好的可操作和应用推广潜力。
其他文献
1,3-丁二烯是石油化工行业中重要的中间体,目前工业上制取主要依赖于化石燃料。人们对能源枯竭的危机感和对环境问题的担忧逐渐加重,利用可再生能源制备高价值化学品成为一个
目的通过体外研究验证金纳米星/胶原(AuNSs/Col)复合基质材料具有抗心肌细胞氧化应激损伤的作用,进而保护原有细胞和移植细胞免受损伤。方法1)构建不同浓度的AuNSs/Col复合基质
频发的水环境污染问题已经严重影响着人类生产与生活,因此,水环境污染的实时监测与污染源的定位具有重要的现实意义。本文具体针对静态水体中二维平面上和近岸水下三维空间中
众所周知,频谱是无线通信领域中的一种有限资源,并且正在面临着短缺危机。一方面,由于国家政府采取了传统的静态频谱分配方式,使得闲置频谱的利用率降低。另一方面,随着无线
近来随着生活水平的不断提高人们越来越追求高品质的生活质量,对多媒体影音的观看体验就是其中之一。网络设施的逐渐完善和硬件技术的不断进步使得传输和观看高质量多媒体内
近年来,随着国家法治进程的逐步推进和国家经济社会的稳步发展,公民的精神文明随着物质文明的提升显著增长,参与国家管理,追求更大的自我价值也越发明显。本文正是基于一些涉
近几年随着移动互联网的高速发展,基站选址在通信领域中的地位日益重要。伴随着国内“网业分离”改革的实施和基站选址的发展,基站和选址员的相关信息也大批量的增加。在新形
随着微型传感器技术、嵌入式计算技术和低功耗无线通信技术的快速发展,融合了这三种技术的无线传感器网络引起了人们的广泛关注。数据收集是无线传感器网络中研究的热点问题
目的探讨绿茶多酚功能化的多孔磷酸钙陶瓷结构改变以及对骨髓间充质干细胞增殖分化的影响方法研究利用绿茶多酚(TP)功能化多孔磷酸钙陶瓷(PCPC)。采用红外光谱仪来检测PCPC与
现阶段,中国短兵的发展方兴未艾。籍此之际,国家体育总局于2019年7月25日颁布了《武术产业发展规划(2019-2025年)》的通知,明确将“短兵”列入“大力发展重点项目”的行列。但综观中国短兵的当下状况,仍没有形成相对成熟的竞技化模式。欧洲历史武技的标准名称为Historical European martial arts,中文译作欧洲历史武技,也称HEMA运动,作为被“重构”的短兵器类竞技运动