随着音视频会议系统以及基于语音的人机交互系统的成熟和发展,语音增强算法在通信领域以及人工智能领域得到了广泛的研究和关注。盲源分离（Blind Source Separation,BSS）算法旨在从混合信号中提取出原始的声源成分,是语音增强中一个重要的研究方向。其中语音分离算法重点关注语音之间的分离问题,在多说话人系统中具有广泛的应用。独立向量分析（Independent Vector Analysis,IVA）算法是一类被普遍认可的多通道频域盲源分离方案,该方法计算量低、效果稳定,具有很高的实际应用价值。本文围绕基于独立向量分析的语音分离算法,重点关注语音模型的选择、目标语音信号的提取以及全局排序问题的解决这三个方面的问题。高斯混合模型（Gaussian Mixture Model,GMM）能够更精确地刻画语音信号,应用于独立向量分析算法有望取得比常规声源模型更好的分离效果。然而,由于该模型通常需要一个预训练过程以获得模型参数的初始值。本文通过添加时变因子的方式,提出了一种不需要预训练的,基于时变高斯混合模型的独立向量分析算法,并通过实验验证了所提算法在参数随机初始化情况下的分离性能。相比于语音分离,目标语音提取算法仅输出期望语音,在自动语音识别（Automatic Speech Recognition,ASR）领域具有更高的应用价值。本文提出了一种将基于独立向量分析的盲源分离算法和基于x-vector的话者判别系统级联的目标语音提取方案,并通过仿真数据对比研究了基于独立低秩矩阵分析（Independent Low-rank Matrix Analysis,ILRMA）和多通道变分自编码器（Multichannel Variational Autoencoder,MVAE）两种分离算法,并对两种用于训练x-vector网络的数据增强方案进行了对比。针对频域盲源分离算法输出通道间排序不确定的问题,本文引入了基于实例归一化（Instance Normalization,IN）和自适应实例归一化（Adaptive Instance Normalization,Ada IN）的变分自编码器作为声源模型。通过将语音信号的话者编码和内容编码解耦的方式,提出了一种可以指定输出通道排列顺序的半监督盲源分离算法。此外,为了减少频域可能出现的块排序问题,本文提出对变分自编码器中的解码器网络单独进行降噪训练的方案。最后本文通过仿真验证了该算法在训练时已见话者和未见话者数据集上的分离性能以及排序准确率。