线性滤波器理论基础成熟、易于分析与实现，已获得了较为广泛的应用。但随着科学研究的不断深入，人们开始更多地关注高速通信信道、卫星链路、回声对消等存在非线性干扰的场合，由于线性自适应滤波器自身存在的线性特性，限制了其探索非线性信号高阶冗余性和逼近非线性函数的能力，使滤波性能不尽如人意。因此，为了克服实际应用中线性滤波器的缺陷，提高系统性能，近年来非线性滤波理论已成为人们研究的热点。其中，Volterra滤波器是一种结构相对简单、性能良好的非线性滤波器，它综合了系统的线性结构和非线性结构，较适合构建各种系统的非线性模型，因此被广泛地应用于系统辨识、回波对消、信道均衡、图像处理、混沌预测等领域。本文主要研究Volterra滤波器自适应算法，包括高斯噪声背景下的二阶Volterra变参数自适应滤波算法、高斯噪声背景下基于正交变换的Volterra自适应滤波算法和α稳定分布噪声背景下的Volterra自适应滤波算法。首先，介绍Volterra滤波器的基本理论，为全文的研究工作打下基础。其次，研究高斯噪声背景下的二阶Volterra变参数自适应滤波算法。一方面为了改善由于Volterra滤波器参数固定导致算法收敛性能和稳态性能差的情况，本文提出一种二阶Volterra变步长解相关NLMS算法；分别对Volterra滤波器线性部分和非线性部分输入信号进行解相关处理，并利用各阶采用不同变步长因子方法，改善算法性能。另一方面通过自适应调整输入信号数据块长度，提出一种二阶Volterra变数据块长LMS算法；利用当前时刻及该时刻以前更多输入信号和误差信号信息使收敛速度和稳态性能都得到较好的提高。然后，研究高斯噪声背景下基于正交变换的Volterra自适应滤波算法。由于输入信号自身相关性以及Volterra滤波器各项间的耦合使Volterra滤波器自适应算法性能下降，本文提出两种基于不同正交变换的Volterra滤波器自适应算法。一方面利用格型滤波器对输入信号进行格型预处理得到相互正交的后向预测误差信号并将其作为滤波器的输入，从而大大降低一次项、平方项和交叉乘积项信号各项之间的耦合，改善算法性能。另一方面提出基于DCT的高阶Volterra全解耦VLMS滤波算法，利用实对称矩阵经DCT可变换成对角矩阵的特性，分别推导了Volterra滤波器偶次阶输出项和奇次阶输出项，它们均可表示成权系数向量与信号向量的内积，从而大大减少权系数个数，降低计算复杂度；与此同时采用全解耦结构调整权系数，有效地降低了非线性项耦合的影响，提高了算法性能。最后，研究α稳定分布噪声背景下的Volterra自适应滤波算法。鉴于实际环境更接近于α稳定分布噪声，本文分别提出两种α稳定分布噪声背景下的自适应算法。首先提出一种二阶Volterra变记忆长度LMP算法，针对实际应用中非线性系统记忆长度未知致使Volterra自适应滤波器可能无法达到最优性能的问题，通过自适应调整记忆长度使其收敛到真实值，使算法在收敛速度、稳态性能和计算复杂度之间达到了较好的折中；然后通过对Volterra滤波器结构的改进，提出一种α稳定分布噪声背景下基于DCT的三阶Volterra滤波算法，相比传统的Volterra滤波器自适应算法，不仅降低了算法复杂度，而且提高了算法性能。