声音信号载有丰富的环境信息,且具有非接触性、低采集成本,使得声音场景分析的应用场合非常广泛,比如音频监控、智能家居、自动辅助驾驶、生态环境监测、人机交互等。本文以复杂音频作为分析对象,探讨基于联合学习框架的声音场景聚类方法。本文主要工作及创新点如下:(1)本文提出一种基于深度表征(Deep Representation,DR)的声音场景聚类方法。首先从音频样本中提取对数梅尔频谱(Log Mel Spectrum,LMS),然后输入卷积自编码网络(Convolutional Autoencoder Network,CAN)。最后,从CAN的全连接层抽取出深度表征作为基于图论的凝聚层次聚类(Hierarchical Agglomerative Clustering,AHC)算法的输入,并实现声音场景聚类。实验比较不同特征之间的聚类性能差异,实验结果表明:采用DCSAE-2017和LITIS-Rouen两个声音场景数据库进行评测,基于深度表征的声音场景聚类方法得到的归一化互信息(Normalized Mutual Information,NMI)分别为61.66%和58.57%,得到的聚类精度(Clustering Accuracy,CA)分别是52.83%和50.25%,均优于基于其他特征的聚类结果。(2)在(1)的方法中,深度表征特征提取与聚类迭代是独立进行的,而不是联合学习的。所提取的特征对聚类迭代可能并不友好,聚类性能仍然有待提高。为了克服上述方法的缺点,本文提出一种基于联合学习框架的声音场景聚类方法。首先,构造一个CAN用于提取深度表征,采用常规聚类算法初始化聚类类别分配。将全连接层和Softmax层构造一个判别性聚类网络(Discriminative Clustering Network,DCN)。然后,设计一个损失函数指导由CAN和DCN组成的联合学习框架的迭代优化,同时最小化特征重构误差和聚类估计误差。所设计的损失函数由重构损失(用于优化CAN参数)和聚类损失(用于优化DCN参数)组成。实验讨论CAN隐藏层参数设置和不同初始化常规聚类算法,比较不同方法的聚类性能。实验结果表明:采用DCSAE-2017和LITIS-Rouen两个数据库进行评测,基于联合学习框架的声音场景聚类方法得到的NMI值分别为67.12%和60.30%,得到的CA值分别为56.54%和55.68%,均优于其他方法得到的结果。综上所述,本文提出基于深度表征和基于联合学习框架的声音场景聚类方法,从多个侧面实验分析本文方法的性能表现,在多种实验条件下进行对比,验证本文方法的有效性。