由于线性自适应滤波器不能较好地逼近非线性系统，也不能利用非线性信号的高阶冗余性，在存在非线性特性的场合线性自适应滤波器性能不理想。对此非线性滤波器理论逐渐成为人们研究的热点。Volterra滤波器由线性结构和非线性结构组成，其结构简单、滤波性能良好，被广泛应用于构建各种非线性系统的模型。同时，对于大多数满足输入信号能量有限的非线性系统，均可用Volterra级数逼近到任意准确的程度。因此被广泛应用于系统辨识、回波抵消、信道均衡和图像处理等领域。近年来，在通信和信号处理领域，鉴于实际环境更接近于α稳定分布噪声，如电话信号、气象数据、股票价格、水下噪声以及多种人类噪声等都具有很强的瞬时脉冲特性，因此，α稳定分布及其相应的分数低阶统计理论的研究和应用得到越来越多的重视。本文主要研究α稳定分布噪声背景下的Volterra自适应滤波算法。首先，介绍自适应Volterra滤波器和集员滤波的理论基础，为全文的研究工作打下基础。然后，研究α稳定分布噪声背景下二阶Volterra自适应滤波算法。一方面为了克服由于Volterra自适应滤波算法采用固定步长导致算法收敛速度和稳态性能差的情况，通过平滑梯度矢量减小梯度估计误差，采用平滑梯度矢量的欧氏范数和误差信号的分数低阶矩更新步长因子，对一阶和二阶权系数采取分阶迭代更新，于是通过DCT得到一种在α稳定分布噪声背景下变步长Volterra自适应滤波算法。分析证明了该算法的收敛性能。另一方面，针对Volterra自适应滤波算法的计算复杂度呈幂级数增加的问题，将滤波器二次项进行对角化，降低了滤波算法的参数个数，同时去除了输入信号之间的相关性；通过混合因子将两个Volterra滤波器的同一阶次的核并联组合，提高算法性能。最后，研究基于集员滤波理论的Volterra自适应滤波算法。一方面，由于集员滤波的目标函数考虑了所有输入和期望输出的信号对，可提高自适应算法对输入信号相关性的鲁棒性；通过误差幅值的p次方的门限判决，更新Volterra滤波器的权向量，以降低算法复杂度；由此提出了一种α稳定分布噪声下的基于集员滤波的二阶Volterra自适应滤波新算法（SMSVNLMP），并推导给出了权向量的更新公式。仿真结果表明，SMSVNLMP算法计算复杂度低、收敛速度快，对噪声及输入信号相关性有较强的鲁棒性。另一方面，针对Volterra自适应滤波算法计算复杂度高的问题，本文首先通过离散余弦变换（DCT）对二阶权系数矩阵进行对角化分解，提出了基于DCT的Volterra自适应NLMP算法；然后根据集员自适应滤波理论，利用输出误差幅值的门限判决，对Volterra滤波器的权矢量进行选择性迭代更新，由此提出了一种α稳定分布噪声背景下的基于DCT变换的二阶Volterra集员自适应滤波NLMP（DCT-SMVNLMP）算法。非线性系统辨识的仿真结果表明，DCT-SMVNLMP算法不仅具有更低的计算复杂度、更快的收敛速度，而且具有较好的噪声鲁棒性。