论文部分内容阅读
唇读技术可以通过说话人的口型运动特征对说话人的信息进行捕获,该技术被广泛应用于语音识别、身份识别、人机智能接口以及多媒体系统等领域。一个完整的唇读系统主要包括三个单元:唇部的检测与定位、唇部特征提取、唇读识别。本文主要针对唇读系统的唇部的检测定位单元和唇部特征提取单元进行了详细的研究。唇部的检测与定位是唇读识别的首要环节,其定位的效果将影响整个唇读系统的工作。由于唇部有比较明显的色度特征,近年来,国内外在利用颜色特性检测唇部方面开展了广泛的研究,取得了一定的成果,但尚无非常完善的唇部检测算法。本文基于人脸的彩色图像,对不同人种的唇色和肤色的色度分布进行了细致研究,在此基础上提出了一种基于色度信息的自适应滤波算法,结合唇部在人脸中的几何特征和唇色在YCrCb空间的色度分离特性,采用自适应的色度滤波器,有效地分割出唇轮廓,准确的检测并提取了唇轮廓。为验证算法效果,进行两组实验,将提出的算法和常用于唇部检测的Red Exclusion算法进行比较。实验结果表明,文中的方法在有效性、鲁棒性以及不同人种的肤色支持等方面有明显的改进,而算法复杂度则没有显著增加。特征提取在唇读中具有核心地位,目标就是得到低维、低冗余度且具代表意义的特征向量。本文主要研究基于像素的特征提取方法,提出一个级联的特征提取流程,首先对图像采用相应的变换,然后对变换结果降维,最后进行特征归一化。基于对几种变换方法的比较与分析,提出利用PCA对DCT和Gabor小波变换结果降维的DCT-PCA和Gabor-PCA方法。为验证方法的有效性,本文将提出的改进方法与直接选择变换系数的方法进行了识别率的对比,结果表明本文选用的方法的最优识别率分别能达到77.4%和77.9%,与直接选择变换系数的方法相比识别率提高了约10%。