无线光通信与传统射频通信相比较多优点,如不需要频段许可、能量利用率高、传输速度高、数据安全性强、基础设施假设灵活等。本文的研究分别针对非视距紫外散射通信以及近距离的基于发光二极管(light emitting diode,LED)的可见光通信两种非正交通信场景,旨在增大无线光通信系统的性能,包括提高传输速率及传输距离、降低传输错误概率等。对于非视距紫外散射通信,因为其散射作用,接收端接收到的信号往往非常微弱,传输距离有限。针对此问题,对于发送端采用开关键控(on-off key,OOK)调制,接收端使用光子计数器接收并采用最小线性均方误差估计的紫外散射通信,我们设计了双向半双工中继协议,包括理论研究与仿真优化,给出了估计的线性系数与最优的转发功率映射表,显著提升了散射通信系统的性能,降低了通信系统的错误概率以及系统功耗,提高了传输距离。此外对于非视距紫外散射通信,提出了在通信对端之间加入中继节点进行全双工中继通信的方案,从信息论的角度进行了链路预算研究。根据紫外散射通信链路共面模型及其链路损耗的近似计算方法,对全双工中继通信信道的可达速率进行了理论分析,并针对OOK调制进行了不同情况下的数值仿真,分别针对中继节点是否存在自干扰的情况给出了不同的信道参数包括链路损耗、通信节点以及中继节点的相对位置、收发信机角度下的信道可达速率,给出了几种典型情况下系统参数的选择方案,为实际应用中通信设施的架设部署提供了解决思路与数据支持。另一方面,对于LED可见光通信的应用场景,基于LED的光电特性提出了全双工通信方案,对信道的可达速率进行了理论分析并针对脉冲幅度调制(pulse amplitude modulation,PAM)方式对发送端星座图进行了设计与优化,同时给出了不同调制电平及信噪比下信道速率的变化情况。合适的LED全双工通信方案和采用时分复用的方式将LED应用在无线光通信的接收端的方法相比其通信速率有较大提升。