可见光通信（VLC）是室内移动无线通信的关键技术,具有绿色环保、保密好以及频谱资源丰富的优点。非正交多址技术（NOMA）使用功率域复用技术,能够在同一时频资源传递多个用户信息,有利于提高系统吞吐量、增大频谱利用效率以及系统公平性。NOMA-VLC系统中LED器件的非线性、有限带宽带来的记忆效应以及串行干扰消除技术存在的误差传播问题带来了线性和非线性信号损伤,大大降低了系统的传输性能。为了提高NOMA-VLC系统的传输性能,本文提出了基于神经网络的信号接收机。本文的主要内容如下:首先,对VLC系统的结构组成和DCO-OFDM技术原理进行介绍,建立室内VLC系统信道传输模型;通过研究NOMA关键技术构建NOMA-VLC系统下行链路模型;结合维纳模型以及实验采样测量灯具的数据建立LED的非线性模型,之后进行非线性NOMA-VLC系统仿真分析,研究非线性对NOMA-VLC系统的影响,证明对系统存在的非线性进行补偿的必要性。其次,串行干扰消除（SIC）技术和多用户联合检测（JD）技术的性能表现与获取完美用户信道状态信息密切相关。因此本文分析了基于最小二乘法/最小均方误差信号检测算法,结合SIC技术和JD技术构建接收机。结合NOMA-VLC系统信号特征构建基于全连接网络、卷积神经网络以及长短期记忆网络接收机。最后,建立基于神经网络接收机的NOMA-VLC系统模型,对基于卷积神经网络接收机进行模型优化从而确定网络结构。在相同模型参数条件下对基于全连接网络、卷积神经网络以及长短期记忆网络模型三种接收机进行仿真分析,对比分析三种接收机传输性能表现以及复杂度。之后对SIC接收机、JD接收机以及基于卷积神经网络接收机三者进行仿真性能分析和实验性能分析,证明基于神经网络接收机能够对NOMA-VLC系统进行线性与非线性信号补偿、有效地提高系统传输速率。