受益于机器学习的蓬勃发展,机器学习提供了强大的工具来处理诸如自然语言处理,数据挖掘,语音识别和图像识别等许多领域的问题,其典型特点是有自我学习和演进的能力,只要有新的数据,就可以通过调整结构和参数建立新的映射网络,进一步创造新的能力。信号均衡和光学光谱测量均为光通信中信号处理的重要问题,但是,应用机器学习来解决此方面的研究还较少。在光通信中,由于多径效应和信道所带来的噪声使得传输特性不理想,现存均衡技术需要训练序列所带来处理速度的降低,复杂的光通信系统应用要求均衡器的降低误码更加显著,处理高速率信号更加及时。而频谱图作为一个信号在频域下的常见表达方式,传达出另一个维度的光信息信息,传统的光学频谱分析技术被应用于频谱仪上,虽然实现了在光谱检测上达到更高的分辨率和更宽的波长范围,在功率检测上有更强的灵敏度和更大的动态范围,但这些方案是基于硬件实现的不同技术,无法在软件层面达到复杂度较低的应用。本论文主要针对光通信中的信号质量改善和性能参数监控,分别将机器学习应用于可见光通信均衡和频谱分析等方面进行了研究。将机器学习算法与均衡技术相结合,跟踪信道特性能力增强,做到均衡器的智能化学习与更新,另一部分主要工作为将机器学习引入到频谱分析之中,从频谱中做出对性能参数更准确的定性分析和更精确的定量分析。主要工作如下:第一,为了满足更高速率的需求,创造性的将机器学习中的非监督学习方法应用于波分复用和正交频分复用结合的WDM-DCO-OFDM可见光通信离线系统中,采用模糊C均值聚类方法对接收到的信号进行类别的软划分,得出聚类中心和各信号的隶属度,降低了计算复杂度,达到更好的均衡效果;再应用梯度下降算法对均衡器的权系数向量进行调整更新,得出均衡处理后的信号,达到不需要训练就能自动调节达到收敛的目的。系统在传输距离为14cm,传输速率达到1Gbps,误码率降为10-5数量级,达到不需要训练就能自动调节达到收敛的目的,减小了码间干扰,缩短了处理时间,大幅提高了信号传输的准确性,在非合作接受环境有很好的应用前景。第二,针对目前判决算法缺少智能学习的问题,将机器学习技术引入到光通信频谱分析中,提出了可以利用机器学习方法通过对离散数据进行特征提取来进行频谱的分析,先获取所需分析的频谱图训练数据集,然后选取四种典型的机器学习算法:人工神经网络、支持向量机(SVM)、决策树和K最近邻(KNN)等,将需要训练的数据输入到选取的机器学习算法中进行训练,然后对所需分析新的频谱数据输入到训练好的卷积神经网络模块进行特征提取和性能分析,其中支持向量机(SVM)算法的效果最好,对波长、信噪比和带宽的识别精度最高达到100%,识别时间也最短,分别为0.238s、0.338s和0.443s。第三,针对传统光学性能分析模块中一种算法只能识别一种参数,系统的复杂性高,适应度低的问题提出了一种新的方法,解决了离散数据维度过高或者不确定的而导致的模型结构不具备通用性的问题。提供一种通过自动检测提取特征达到自学习和演进,不断适应新场景、新需求的的卷积神经网络的深度学习的智能频谱图分析方法,当有新的识别目标时,可以根据数据和训练增加新的识别能力,并且由于输入的信息格式为图像,信息的维度确定,模型的结构也固定,兼具功能拓展和通用性于一身。