随着无线通信技术的快速发展,无线频谱资源短缺的问题日益明显。作为一种新兴的无线通信技术,可见光通信(Visible Light Communication)的出现在一定程度上缓解了无线电频谱紧张的情况,其兼具环保安全、架设简单、无需无线电频谱认证等优点,可应用于智能交通、智能照明和室内定位等众多领域。近年来,可见光通信技术得到了广泛的关注与研究,成为未来无线通信技术中的重要部分。然而,由于光信号的非负特性,现有射频通信系统中已经趋于成熟的技术很难直接应用于可见光通信。目前,可见光通信的研究方向大多集中于室内场景下,对于室外场景研究较少。室外可见光通信主要受到大气信道湍流和衰减的影响,导致光强度信号随机变化,且信道没有统一定论的数学模型,这些问题严重影响了室外场景下可见光通信的性能。鉴于此,本文主要研究了室外可见光通信系统的调制与检测算法。本文首先分析了室外可见光通信信道的特点,概述了典型的信道模型,研究了系统最终统计判决量的概率密度分布,针对信道复杂多变、影响因素众多的问题,在大规模MIMO可见光通信系统的场景下,提出了已知信道模型统计特性的条件下,一种对现有均值检测算法进行改进的方法和一种将最大似然准则应用在可见光通信中单极性多阶脉冲幅度调制(PAM)信号进行半盲检测的算法。仿真结果表明,本文所述算法与传统均值检测算法相比准确性更高,可提升系统误差性能。其次,在对最大似然检测算法研究的基础上,进一步推导了系统平均星座错误概率的表达式,将现有单极性PAM调制中使用的等间隔星座进行了优化,提出了一种非等间隔的联合调制星座优化方案,以适应室外可见光通信信道的特点。最后,针对本文中非确定性多项式的优化问题的次优解,提出了一种数值求解的方法。仿真结果表明,采用优化后的调制星座可进一步降低系统平均星座错误概率,尤其在信噪比较高或收发两端天线数量较多的情况下采用本文中所提出的方法系统性能优势更为明显。