遮挡条件下的聋哑人情感计算方法研究

来源 :兰州理工大学 | 被引量 : 0次 | 上传用户:q513867791
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
聋哑人属于一个特殊的人类群体,同时他们也存在情感交流,与健听人相比,聋哑人无法借助语音来表达他们的感情,更多的是借助面部表情来表达,所以可以利用面部表情来识别聋哑人的情感状态。对于聋哑人而言,他们进行交流的最自然方式就是使用手语。手形、手臂的运动同时加上表情、口型以及其它身体姿势所表达思想的视觉语言就是手语。手语通过手的形状、位置与方向的变化来表达特定的语义,在聋哑人交流过程中起了非常重要的作用。在手语交流过程中,手部经常会遮挡面部的五官,就无法使用针对健听人的情感计算方法(即利用面部五官特征)来识别聋哑人的情感状态,迫切需要研究出适应于聋哑人的情感计算方法。  本论文分析研究了特征脸方法,并将其应用于识别聋哑人的情感计算,具体工作如下:  (1)对课题组自建的聋哑人的手语视频进行了研究,发现聋哑人在使用手语过程当中,手部经常会遮挡面部五官,但是对于嘴部的遮挡概率要低于遮挡其他五官的概率。而且经过研究发现聋哑人的嘴部在交流过程中有着无可替代的作用。  (2)目前因为聋哑人手语视频库的稀缺,本课题组着手拍摄了聋哑人的手语视频库,创建了针对聋哑人的表情视频库。本课题组自建了聋哑人表情视频库,该数据库包含564张表情图片和4个6.5GB大小的表情视频,内容以惊讶、愤怒、高兴、恐惧、悲伤和厌恶这6种表情的表达为主。  (3)针对聋哑人使用手语进行交流,而且嘴部形状在交流过程中的重要作用,提出了利用嘴部特征进行聋哑人情感计算的研究。首先利用肤色信息从聋哑人面部图像中提取出嘴部区域,然后对提取到的嘴部区域进行腐蚀与膨胀运算,接着计算出嘴部形状的特征值,并与训练样本中不同情感类型所对应的嘴部区域特征值进行比较,从而确定出聋哑人情感。
其他文献
数学竞赛中有以下经典不等式:rn题试证不等式:2√n+1-2<1+1/√2+1/√3+…+1/√n<2√n①.rn为表达方便而记:Mn=1+1/√2+1/√3+…+1/√n(Mn的意义,下同).显然,①式的主要用途是用
当今社会,交通拥塞日益严重已经成为制约经济发展的主要因素之一。为了在现有道路条件下实施交通规划和控制,在路网出现拥挤的情况下进行交通诱导和事故处理,必须对交通流的特性
本文基于状态估计理论与方法,研究了目标跟踪中的有关有偏滤波策略设计问题。通常的估计问题,大多要求待估量达到无偏最小方差估计。为实现无偏估计,系统运动模型的阶次需要与目
智能交通系统ITS技术在现代社会中有着广泛的应用,其中GPS车辆监控、交通管理以及个人导航系统等方面的成果都为人类带来了极大的便利。在智能交通技术的应用中,交通矢量地图是
负荷预测对于电力部门有计划地制定电网规划至关重要,历史的电力负荷值受温度、季节等诸多因素的影响,可看作为具有强非线性和非平稳特性的复杂非线性时间序列。目前,神经网络、支持向量机等单一的计算智能方法是主要的电力负荷预测工具。回声状态网络(echo state networks,ESN)作为一种新的动态递归神经网络,已引起研究者的广泛关注,并且已经应用于电力负荷预测中。与常规的递归神经网络相比,它在网
随着社会经济的发展,物流管理及其优化越来越受到重视,运输成本占有率的居高不下呼吁对运输优化方法与理论的研究。联盟运输调度问题(Allied Vehicle Routing Problem,AVRP)研究
集气管压力系统是一个耦合严重、非线性、扰动频繁剧烈的多变量时变系统,很难用常规方法加以控制。随着控制理论的发展、计算机技术的成熟,在很多地方采用了模糊控制与专家控
本文主要讨论的是稀油润滑系统的油温控制问题。根据实际要求,该系统在工作中,必须将稀油的工作温度维持在一定范围内,要求油箱温度的控制精确为±5℃以内。由于稀油的最高温度
基于麦克风阵列的声源定位是近年来语音信号处理领域的一大研究热点。随着研究的不断深入,目前该项技术已经在视频电话会议、智能机器人、语音增强等场合中得到了广泛的应用。
数字视频序列中运动目标检测的目的是,把作为一个整体的视频图像序列,通过一定的方法分割出具有意义的运动对象实体。运动目标检测在很多领域中有着重要的作用。例如,在计算机视