随着移动互联网、物联网、AR/VR、自动驾驶、人工智能等各类新型通信技术的急剧发展,我们将进入一个“万物互联”的时代。移动通信技术又将成为万物互联的基础。面对未来爆炸式移动数据流量增长、海量的设备连接、不断涌现的各类新业务与新应用场景,下一代通信网络将出现新的变革。更高频毫米波、可见光等波段的光无线通信将利用先进调制格式、新型多址接入技术、先进数字信号处理算法,以此来构成一种具有高带宽、高频谱效率、多用户接入的新型光无线通信系统。基于以上背景,本论文针对新型光无线通信系统中存在的信道估计与均衡、功率分配与误差传播、高效硬件算法的实时实现、速率提升与性能改善等关键问题展开了研究,主要的研究内容及取得的创新性成果如下:第一、高频谱效率的调制格式研究为了提升光无线系统的性能如传输速率、抗干扰能力等,研究了偏移正交幅度调制的正交频分复用（OQAM/OFDM）调制技术,相比于传统的OFDM技术,该调制格式具有带外泄露更低低、频谱利用率更高、抗码间干扰能力更强等诸多优点。然而这些优势都是以放宽子载波仅实部正交条件为代价,使得系统存在固有的虚部干扰,导致信道估计与均衡变得更为复杂。（1）针对以上问题,提出通过将估计的频率响应变换到时域进行虚部干扰消除,再变换回频域做信道均衡,该方法能够有效地减少OQAM/OFDM信道估计中存在的虚部干扰以及信道状态信息外噪声的影响。（2）提出采用盲均衡来改善OQAM/OFDM在光无线通信系统中的性能。盲均衡技术无需导频能够最大化频谱效率,而且相比于常规的虚部干扰近似（IAM）方法,基于CMA与CNA的盲均衡技术能够取得更好的误码率性能,分别具有3.2与2.7 d B的Q2因子改善。第二、功率域非正交多址接入技术研究传统的光无线系统接入方式主要基于时、频、码域复用实现多维信号复用,本文进一步在高频谱效率调制格式的基础上采用功率域非正交多址接入（NOMA）来实现更高维的信号复用。由于光无线系统受限于带宽与严重功率衰落问题,研究了光无线通信系统与功率域NOMA融合的若干问题。（1）提出了一种DSP协助算法来优化毫米波光无线融合系统中OFDM-NOMA的功率分配问题。该算法能够补偿系统中的高频衰落,使得各个子载波具有一致的信噪比（SNR）。实验结果表明提出的方法不仅能够保证所有的子载波工作在最佳性能,而且还改善了系统的误码率性能。（2）提出了一种子载波配对编码方法来减轻NOMA中存在的误差传播问题。该方法具有计算复杂度低而且没有编码开销等优点,不会降低系统的频谱利用率。相比于没有子载波配对编码方法,实验结果表明采用该方法在VLC系统中能够取得3.3 d B的Q2改善。（3）首次提出采用OQAM/OFDM-NOMA信号应用在多用户多输入多输出（MIMO）光无线系统中,实验验证了提出的MIMO-NOMA能够取得比常规的MIMO-OQAM/OFDM更好的误码率性能。（4）提出采用OQAM/OFDM-NOMA来增强异步多蜂窝光无线系统中的性能。OQAM/OFDM-NOMA无需CP且引入了功率控制,能够有效地改善系统容量和灵活度。相比于OFDM-NOMA,OQAM/OFDM-NOMA对异步时移具有很好的鲁棒性,还能确保用户公平性。第三、基于现场可编程门阵列（FPGA）的光无线系统实时验证前面介绍的光无线通信系统研究都是基于离线信号处理的形式,没有充分考虑系统的硬件可实现性、资源利用率、时延等多方面现实应用中不得不考虑的问题,实时系统及信号处理算法验证是加速科学研究往实际产业应用转变的关键性一步。鉴于此,进行了以下几个方面的研究。（1）提出并实时演示了一个基于OFDM-NOMA的光无线系统,所有的信号处理都采用一块FPGA进行处理。该系统能够使得功率比与子载波数可以实时在线配置,非常灵活地满足用户的实时需求。实验结果表明整个实时系统能够取得1.84Gb/s实时传输并能在数小时内保持很好的稳定性。（2）提出在室内光无线混合接入网中采用OFDM-NOMA进行有线信号与无线信号复用。该混合接入系统能够提供高速、稳定的光纤有线接入同时支持灵活且安全的可见光无线覆盖。实时在线调节光纤用户与VLC用户之间功率比可以满足用户的多样化需求且确保用户间的公平性。第四、低成本的光无线系统研究基于光相机通信（OCC）的光无线通信系统能够提供低成本无线连接,能够很好地满足未来低速的物联网应用。基于OCC的光无线光通信主要采用CMOS摄像头进行接收,传输速率主要受限于帧速率。为了提高传输速率与考虑移动场景下的应用,主要研究了以下三个方面。（1）提出采用两个光源重叠的多级调制方案来提高OCC系统的传输速率。两个光源分别调制开关键控（OOK）信号与Manchester信号调制,经过光源叠加后,接收端能够独立且同时对两个信号进行无干扰的解调。实验结果证明该系统能够取得4.32 Kb/s的传输速率。（2）在基于OCC的光无线系统中提出了一种基于OOK与Manchester的交错调制方案。通过根据输入比特的符号持续地从两种调制格式中进行切换,使得接收端能够依据调制格式判决来额外地获得数据比特。实验结果证明该方案能够在低于2.9×10-3的误码率情况下取得8.16 Kb/s的传输速率。（3）首次证明了一个移动场景下的基于OCC的光无线系统。提出了一种动态列向量选择算法来实现选择的列具有较高的消光比同时避免光强溢出。实验结果表明随着横向距离与用户移动速度的增大,用户的性能会随之下降。整个动态光无线系统能够在低至275流明的光照强度下实现4.08 Kb/s的数据速率。