目前，人们对移动通信数据量以及通信速率等方面都有迫切的需求，5G已经即将全面商用，6G关键技术成为如今研究的主要热点。同时，可见光通信（VLC）技术是6G的潜在关键技术之一，它在保证照明的同时，还满足了人们对高速数据通信的需求。然而VLC采用发光二极管（LED）作为发射机发送光信号，忽略了信号的频率和相位信息，导致其空间相关性较大，限制了多输入多输出（MIMO）技术在VLC系统中的引入。而基于MIMO技术的广义空间调制（GSM）技术能够有效地避免信道间干扰，从而成为VLC系统实现高速数据通信的关键技术之一。为了实现VLC的高效调制设计，本文的主要研究工作如下：
　　（1）首先根据室内照明要求和VLC的典型应用场景，建立了室内VLC-MIMO的信道模型。从信道增益、光照度、接收功率以及时延扩展四个方面，分析了视距（LOS）链路和非视距（NLOS）链路的基本原理。然后引入鲸鱼优化算法（WOA）以照度均匀度为优化目标得到最优的LED布局设计，并从上述四个方面对WOA优化布局以及遗传算法（GA）优化布局进行仿真比较，仿真结果显示经WOA优化的布局的照度均匀度比GA提高了7.9%，平均接收功率优于GA约0.6598dBm，可以有效的减小室内VLC系统的通信盲区；并且WOA的收敛速度更快，最终收敛值更优。能够为之后的研究分析提供最优的信道参数设置。
　　（2）分别介绍了空间调制（SM）、发送相同数据和发送不同数据这两种GSM的系统模型和比特传输原理。并针对VLC-GSM系统的功率效率问题，分析了一种基于协作星座的GSM（CC-GSM）技术，在保证信号矢量最小欧式距离最大的同时，使得系统的平均发送光功率最小。然后分析比较了各种空间调制技术的接收端复杂度和频谱利用率，GSM技术在接收端由于需要对LED发射机组索引进行估计，因此其复杂度较高，但是由于其激活多个LED发送信息，导致GSM技术相对于SM技术和单天线系统具有显著的频谱利用率优势。最后通过仿真验证了相同频谱利用率的情况下CC-GSM技术在低相关性信道中完全优于SM技术，并与高相关性信道相比，可获得约6dB的信噪比增益。因此，CC-GSM技术可以作为VLC系统低相关信道状态下的有力候选调制技术。
　　（3）为了进一步提高GSM系统的传输速率，提出了一种结合色移键控（CSK）调制的新型GSM系统。发射端采用RGB LED作为发射机，通过将红绿蓝三原色按比例合成白光进行信息传输，与传统采用蓝光LED激发荧光粉的白光LED相比，转换速率有了明显的提升。而CSK调制就是针对这种RGB LED提出的一种调制方式，并且通过仿真选择误码率最小的CSK星座图。仿真结果表明，根据实际应用场景，适当的选择调制阶数，GSM-CSK调制系统可以得到误码率性能和数据传输速率的最优折中，从而改善整个系统的性能。