得益于半导体技术和信息技术的高速发展,光通信的通信容量得到了极大的增长,而且通信的可靠性也有了很高的保障。然而层出不穷的信息泄露事件让通信的安全隐患暴露出来,保密通信技术也因此成为了一个研究热点。在物理层进行加密的混沌激光保密通信以其高安全性和高速率的优点受到了研究者们广泛的关注;另外,携带轨道角动量(OAM:orbital angular momentum)的光涡旋因其独特的螺旋相位和检测特性也能够赋予光通信系统一定的安全性。本论文着眼于光通信系统的安全性,对基于混沌激光和光涡旋的保密通信系统进行了实验研究。具体内容如下:(1)介绍了混沌的基本特性,混沌激光的几种常见产生方式以及同步理论。然后实验搭建了基于非线性光电延时反馈的混沌激光产生和同步系统,并且在两种短距离多模光纤(MMF:multimode fiber)中实现了高速保密通信,实验测试了两种调制格式信号传输的安全性。(2)简要介绍了光涡旋的一些特性、产生和检测技术。搭建自由空间的单路和多路光涡旋产生和检测系统,实验研究了光场被部分遮挡时对OAM功率谱测量的影响,实验结果表明基于光涡旋的自由空间通信系统具有物理层的安全属性。(3)先对光反馈系统的混沌产生和同步原理进行了介绍和仿真,然后实验搭建了两套独立的混沌激光源,并利用光注入技术实现了高效的混沌同步,接着与两个光涡旋模式的空间复用相结合,实现了两路信息的高速保密传输,实验证明该通信系统不仅能提高通信容量,还可以使通信的安全性大幅提升。