基于IAM的深度学习语音情感识别算法研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:xiomantou_3737
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语音作为人与人沟通和情感传递的重要媒介,一直以来都是人工智能研究的重要方向。在传统的情感识别系统研究中,如何提取更具有判别性的情感相关特征一直是研究界备受关注的内容。目前,系统特征参数的选取具有一定的盲目性,系统操作复杂度和时间复杂度较高。尤其在一些复杂场景识别,比如:大规模语音数据集、情绪类别复杂的场景等,不能有效描述语音数据复杂的空间分布,对于语音的上下文信息利用也极其有限,传统的语音情感识别方法已经不能很好的解决以上问题。神经网络模型作为一种可以“自学习”的模型,被证明可以有效的解决特征提取分类的问题。本文针对传统语音情感特征学习方法的不足,以注意力机制原理为基础,提出了基于改进注意力机制(Improved Attention Mechanism,IAM)的深度学习情感识别优化算法,该算法主要提出了一种改进的注意力机制模型AItti(Attention Itti);然后,针对AItti模型全局特征丢失问题,提出了基于改进空间权重的深度学习情感识别优化算法,该算法以AItti模型为基础进一步提出了一种约束型空间权重网络(Constraint-Space-Weight Networks,CSWNet),具体研究内容如下:(1)提出了基于改进注意力机制的深度学习情感识别优化算法算法在语谱图技术的基础上将图像提取模型的注意力机制(Attention Mechanism,AM)与声学特征特性相结合,提出了一种新型特征提取模型AItti,从而实现语音情感相关特征提取。该方法包括以下步骤:将语音信号经过预处理后提取语谱图;然后经过提出的AItti获取显著图:它主要经过高斯金字塔和局部二值模型(Local Binary Pattern,LBP)算法,提取出四种注意图,再通过中央周边差及听觉敏感度加权运算获取最终的显著图;将显著图通过微调的混合神经网络获取一段音频最终的情感特征表示,结合已标注的标签进行有监督训练,最终通过分类器获得最终评分结果。在自然数据库FAU-AEC上进行七类情感分类评估,利用该方法学到的情感相关特征识别率明显高于同等条件下的传统声学特征及基准模型。对模型进行性能评估,本算法能够很好地增加类间距离,提高系统识别率。(2)提出了基于改进空间权重网络的深度学习情感识别优化算法基于AItti提取出的特征相对传统全局特征来说为情感强相关特征(Strong Emotion Feature,SEF),但经过模型处理后的语谱图会丢失一部分全局信息,这部分特征可能对情感识别具有一定影响。据此,论文提出基于改进空间权重结构深度学习情感识别优化算法。该方法的主要步骤是:将语谱图通过混合神经网络的前两个单元提取初级特征;通过构建CSWNet结构获取权重特征,主要经过特征空间变换及闸值判断,从空间维度角度赋予SEF特征相近特征高权重,其它特征低权重,得到标定权重特征;最后将标定的权重特征通过微调的混合神经网络之后的单元获取一段音频最终的深度情感特征表示,结合已标注的标签进行有监督训练,通过分类器获得最终评分结果。在自然数据库FAU-AEC和柏林德语数据库(EMO-DB)进行试验证明了本模型有效性和良好的泛化性。对模型的复杂度进行和性能进行评估,在少量增加模型复杂度的情况下,模型的识别率和情感区分能力都有所提升。
其他文献
民以食为天,保障粮食安全是我国的基本国策。由于农业生产具有天然的弱质性,因而自2004年以来,我国先后实施了一系列农业补贴政策,以促进农业发展并保障粮食安全。在长期以来
由于对传输速率和传输效率的要求越来越高,所以在散射通信中,为了增加传输容量,提高传输效率,需要利用数字复接技术将多个低速数字信号合并成为一个高速数字信号。数字复分接系统按照各支路数字信号输入复接器时的时钟与本地时钟差异的大小分为同步复接、准同步复接和异步复接,其中的准同步复接具有效率高且传输时延较短的特点。题目中的准同步技术即为在准同步复接中的码速调整和时钟恢复技术,而码速调整的原理简单且容易实现
<正> 著名物理学家张文裕教授溘然长逝的噩耗传开后,国内外高能物理学界无不为之哀伤。11月18日上午,人们怀着无比悲痛的心情冒着凛冽的寒风从四面八方聚集在北京八宝山革命
港口集团作为大型企业集团,是国内重要的运输平台,也是与国际交流沟通的平台。港口发展在我国国民经济中占有重要的地位,尤其是国家一带一路的提出,海上丝绸之路主要依靠港口
多发性神经炎是周围神经的对称性损害,主要表现为四肢远端对称性感觉、运动和植物神经障碍,多由于中毒、感染、营养缺乏、代谢及内分泌障碍、自身免疫反应等原因造成。西医一般
在我国目前关于环境损害赔偿的司法实践中,通常以环境侵权的角度处理环境损害赔偿的相关问题,但这种角度是不合理的。一方面,环境侵权制度只能解决基于环境特定主体的人身和财产权益损害救济问题,难以直接解决生态环境本身的破坏和损害或者不特定人的权益即公共利益受到侵害的根本问题。另一方面,环境侵权责任主要为财产性责任,财产性责任的承担主要着眼于对已经造成的损害进行弥补,无法解决只存在环境损害风险,而未产生实际
中国特色社会主义新时代使中国发展进入新的历史方位,探讨和厘清社科院与其学术期刊之间的共生共进关系,不仅仅是新时代社科院和其学术期刊应对社会变革、探求内生发展的要求
亨利·詹姆斯中篇小说《螺丝在拧紧》是开创儿童教育文学先河的作品,反映了19至20世纪的社会现状,本文运用米歇尔·福柯的规训理论解读《螺丝在拧紧》中女教师对孩子的监管,
信息化时代,个人信息变身为比金钱更为重要的“社交货币”,亦因如此个人信息的散布总在信息主体有意或无意之中发生。而散落于网络的个人信息又被数据控制者以技术性手段收集