在数据传输需求快速增长以及射频频谱资源日益紧张的背景下,可见光通信（VLC,Visible Light Communication）受到广泛地关注。可见光通信将数据调制到380nm-780nm的可见光频段上,在满足日常照明的同时,提供高速数据接入服务。与传统的射频（RF,Radio Frequency）通信相比,可见光通信具有速率较高、无电磁辐射、保密性好、成本低等优点。可见光通信通常利用日常照明的发光二极管（LED,Light-Emitting Diode）作为发射单元。日常照明用LED一般有两种:一类是单色蓝光LED通过激发荧光粉形成黄光从而混合得到白光,另一种是利用多色LED按照一定的比例混合形成白光。和单色白光LED相比,多色LED混合成白光的方式不仅能够灵活地调节照明的色温和显色指数,而且以多路复用的方式大大提升可见光通信传输速率。目前,多色可见光通信系统面临以下几个问题。1)各色LED的光谱不可避免地存在交叠,造成了色光间交叉干扰。此时光滤波器过窄或过宽的通带将严重影响接收信号的质量。如何设计光滤波器带宽和中心波长等关键参数是多色可见光通信需要考虑的问题。2)多色可见光通信通常采用薄膜干涉光滤波器。然而,薄膜干涉光滤波器的通带会随着入射角的增大向波长减小的方向偏移,造成移动场景下通信性能恶化。如何在移动场景下维持稳定的传输性能也是多色可见光通信系统的一个挑战。3)各色光利用正交频分复用（OFDM,Orthogonal Frequency Division Multiplexing）是高速传输的重要方案,但是速率的提升受到LED信道非理想特性（低通特性和非线性特性）和所需照明质量（亮度和色温）的限制。在这些限制下,如何进行收发信机设计以提升传输速率也是亟需研究的问题。本文将围绕上述几个问题展开研究,并提出有效的解决方案。首先,本文研究了多色可见光通信中光滤波器通带核心参数（带宽和中心波长）的设计。本文考虑了三种准则:单色检测下信干噪比（SINR,Signal-to-Interference-plusNoise Ratio）最大化,线性最小均方误差（LMMSE,Linear Minimum Mean Square Error）多色联合检测下总均方误差最小化,最大似然（ML,Maximum Likelihood）多色联合检测下互信息最大化。在这三种准则下,本文分别建立了光滤波器通带核心参数的优化问题,并提出了有效的求解算法。仿真验证了优化后的光滤波器比现有的经验型光滤波器具有更优的性能。另外,本文还分析了不同接收机准则下设计的光滤波器的性能差异。其次,针对光滤波器通带随入射角改变而偏移的问题,本文研究了随机入射角下鲁棒性光滤波器的设计。本文考虑了两种常用的鲁棒性概念:统计平均鲁棒性（Statistical Robustness）和最差情况鲁棒性（Worst-Case Robustness）。统计平均鲁棒性是利用角度变化的统计信息,使得随机入射角下平均性能达到最优;最差情况鲁棒性是在系统工作的角度变化范围内,使得随机入射角下最差性能达到最优。针对这两种鲁棒性概念,本文分别建立了光滤波器优化问题,并提出了有效的求解算法。仿真验证了提出的鲁棒性光滤波器设计有效地提升了较大入射角下系统的性能,从而更好地支持接收机的移动性。然后,为了进一步提升随机入射角下的性能,本文对多色可见光通信中收发机的设计进行了改进。本文的改进设计从两方面入手。一方面,本文采用了大于色光个数的光滤波器来接收多色光信号,并提出了新型的适用于随机入射角场景下的光滤波器组结构。另一方面,本文对多色可见光通信发送端预编码和接收均衡矩阵设计算法进行了改进,并提出了高性能低复杂度的算法。仿真表明,所提出的新型光滤波器组结构与收发端设计算法相结合,可以使多色可见光通信系统在各个入射角下都能获得良好的性能。最后,本文对多色光DCO-OFDM（Direct-Current-Biased Optical OFDM）系统进行了分析和优化。在考虑LED低通特性和非线性特性的情况下,本文推导了DCO-OFDM预均衡和后均衡的可达速率,并对它们的可达速率进行了比较和分析。仿真和实验测试验证了理论结果的正确性。接着,本文从色度学和光度学角度分析了在照明亮度和色温的约束下各色LED光功率需要满足的条件,在有非线性削波的情况下给出了系统和速率表达式,从而建立了多色光直流偏置和交流功率的优化问题,并提出了有效的求解算法。仿真验证了优化后的各色光直流偏置和交流功率不仅能够保证照明质量,而且能够有效地提升系统的传输速率。