论文部分内容阅读
论文提出一种基于深度学习以及核典型相关分析(kernel canonical correlation analysis,CCA)的多特征融合说话人识别方法。针对说话人的音频和视频信息,利用深度信念网络和卷积神经网络这两种不同深度的神经网络对音频信息和视频信息分别并行处理,得到两种不同模态的生物特征向量。采用核典型相关分析方法对这两种非线性相关的特征向量进行特征级融合,使用它们的相关性判别函数抽取多个相关性顺次下降但又互不相关的典型变量对按照给定的特征级融合策略构成最后的判别特征,同时去除了冗余信息。