对于传统的线性自适应滤波算法,在处理一些线性问题时有一定的应用价值,但是在处理非线性问题时,相应的性能效果却并不理想,如在系统识别、信道均衡等许多实际问题中,如果有某种复杂的非线性关系存在于系统的输入与输出之间,传统的线性自适应算法是难以进行处理的。在过去的十几年中,随着核方法思想(Kernel Methods)被越来越多的应用到非线性领域,基于该方法的自适应滤波算法已经成为成熟的非线性信号处理技术,在再生核希尔伯特空间(RKHS)框架和核方法具有凸优化性能的坚实数学基础下,该类算法有很强的对非线性信号处理能力。同时基于该方面新的非线性算法也在不断的被提出,对核自适应相关算法的改进优化也在不断的发展。针对基于核方法思想的非线性自适应滤波算法的研究,本论文提出了四种解决通信信号处理中的非线性信号的相关算法：(1)将鲁棒混合范数算法(RMN)和核方法结合提出了核混合范数符号误差算法(KSEMN)。对于噪声中含有脉冲信号的噪声环境,RMN算法相比于LMS算法有明显的优势,因此论文研究了将RMN算法和核方法结合,推导出了在含有脉冲信号的噪声环境下,可以有效地对非线性信号进行处理的核混合范数符号误差算法。同时也推导了归一化的核混合范数符号误差算法,并且求出了KSEMN算法收敛的步长因子的取值范围。在加有脉冲信号的不同噪声环境(高斯分布的噪声、二项式分布的噪声、均匀分布的噪声)中,通过非线性信道均衡仿真实验来证明了KSEMN算法的优势,同时也讨论了不同的步长因子对算法均方误差的影响。(2)针对符号误差算法内在的慢收敛特性,论文对符号误差算法进行了改进优化,并结合核方法思想,提出了可以有效处理非线性信号的核分段符号误差算法(KSSE)、核双符号误差算法(KDSIGN)和核分段混合符号误差算法(KSISEMN),这三种算法在对非线性问题的处理上和在算法收敛速度上都有所提高,并通过非线性信道均衡仿真实验证明了以上算法在加有脉冲信号和没有加脉冲信号的不同噪声环境(高斯分布的噪声、二项式分布的噪声、均匀分布的噪声)中相对于传统的非线性算法(如KLMS算法)的各自性能优势。