可见光通信（Visible Light Communication,VLC）是一种新型信息传输方式,相比传统无线通信,它具有无电磁干扰、成本低、信息安全性高、空间复用性高等优势,且可见光波段尚属空白未利用频谱,无需授权即可利用。但VLC存在非线性失真、多径散射干扰等问题,其中系统非线性是限制VLC高速传输的主要瓶颈。基于沃尔特拉级数（Volterra Series,VS）的后失真均衡器可有效缓解系统非线性失真,但该方法存在模型复杂度高、模型系数计算困难的缺陷。因此,本文提出三种新型非线性VS均衡器内核计算方法,优化模型结构,构建出强健的后失真均衡器,进而缓解系统非线性失真。主要研究内容及创新点如下:（1）搭建基于直流偏置光正交频分复用调制技术的VLC系统模型,研究LED传输特性、信道多径散射等因素对系统非线性失真的影响。（2）根据间接学习结构,构建基于VS的非线性后失真均衡器（VS-Nonlinear Post-distortion Equalizer,VS-NPE）。考虑VS-NPE内核数量多、计算量大的特点,将内核估计转换为的稀疏重构问题,提出一种基于正则化自适应正交匹配追踪（Orthogonal Matching Pursuit,OMP）的VS-NPE设计方法,有效降低VS-NPE内核数量,提高参数估计效率。（3）提出一种基于支持集修正近似消息传递（Support Set Refined Approximate Message Passing,SSR-AMP）的VS-NPE设计方法,利用改进的AMP修正稀疏支持集,进而提升VS-NPE内核的估计精度。另外,借助状态演变理论,推导无噪声、含噪声情况下支持集修正AMP算法迭代过程所伴随的均方误差理论表达式,研究该算法的收敛性能。仿真结果表明所提方法的有效性和可行性。（4）提出一种融合稳固阈值AMP和新息自适应卡尔曼滤波（Kalman Filtering,KF）的VS-NPE设计方法。该方案利用稳固阈值AMP寻找稀疏支持集,然后采用新息自适应KF估计VS-NPE内核。该方法相较于基于SSR-AMP的VS-NPE,在保证参数估计性能的前提下,具有更好的抗噪声性能。