论文部分内容阅读
聋哑人属于一个特殊的人类群体,同时他们也存在情感交流,与健听人相比,聋哑人无法借助语音来表达他们的感情,更多的是借助面部表情来表达,所以可以利用面部表情来识别聋哑人的情感状态。对于聋哑人而言,他们进行交流的最自然方式就是使用手语。手形、手臂的运动同时加上表情、口型以及其它身体姿势所表达思想的视觉语言就是手语。手语通过手的形状、位置与方向的变化来表达特定的语义,在聋哑人交流过程中起了非常重要的作用。在手语交流过程中,手部经常会遮挡面部的五官,就无法使用针对健听人的情感计算方法(即利用面部五官特征)来识别聋哑人的情感状态,迫切需要研究出适应于聋哑人的情感计算方法。 本论文分析研究了特征脸方法,并将其应用于识别聋哑人的情感计算,具体工作如下: (1)对课题组自建的聋哑人的手语视频进行了研究,发现聋哑人在使用手语过程当中,手部经常会遮挡面部五官,但是对于嘴部的遮挡概率要低于遮挡其他五官的概率。而且经过研究发现聋哑人的嘴部在交流过程中有着无可替代的作用。 (2)目前因为聋哑人手语视频库的稀缺,本课题组着手拍摄了聋哑人的手语视频库,创建了针对聋哑人的表情视频库。本课题组自建了聋哑人表情视频库,该数据库包含564张表情图片和4个6.5GB大小的表情视频,内容以惊讶、愤怒、高兴、恐惧、悲伤和厌恶这6种表情的表达为主。 (3)针对聋哑人使用手语进行交流,而且嘴部形状在交流过程中的重要作用,提出了利用嘴部特征进行聋哑人情感计算的研究。首先利用肤色信息从聋哑人面部图像中提取出嘴部区域,然后对提取到的嘴部区域进行腐蚀与膨胀运算,接着计算出嘴部形状的特征值,并与训练样本中不同情感类型所对应的嘴部区域特征值进行比较,从而确定出聋哑人情感。