混沌保密通信是近20年发展起来的一门新兴学科。混沌系统以其所具有的初值敏感性、快速衰减的自相关特性、无周期性、复杂度大、长期不可预测性等基本特性，在保密通信领域得到了深入的研究和广泛的应用。基于电路实现的混沌保密通信系统因其在加解密速度方面所存在的固有缺陷，无法满足日益增长的数据接入和传输速度的需求。在现代通信技术特别是全光网络高速发展的趋势下，光学混沌及其保密通信技术以其独特的优势受到了国内外的广泛关注。混沌同步是混沌保密通信技术的核心和基础，混沌同步的安全性、鲁棒性在很大程度上决定了保密通信系统的安全性和稳定性。基于上述观点，研究了混沌同步理论及其在光学保密通信系统中的应用。针对传统混沌同步技术中，在信道上传输的同步控制信号泄露混沌系统状态信息而导致的安全性问题，基于脉冲稳定性理论和编码理论，提出了一种混沌混杂自同步模型。在该模型中，仅需要传输极少量的纠错信号就能保持通信双方的混沌系统同步，因此不会造成混沌系统轨道信息的泄露。基于脉冲微分方程的基本原理和Lyapunov稳定性理论，得到了同步误差阈值、同步控制间隔和同步强度之间所需满足的数值关系。基于该方法，提出了一种混杂自同步混沌序列密码算法，数值分析和检测表明该算法生成的密钥序列具有良好的统计特性和较高的复杂度。针对电路混沌系统所固有的低频率窄带宽特性造成的保密通信系统加解密速度慢的问题，提出了激光混沌系统的脉冲同步方案。针对半导体激光系统动力学方程中部分状态变量——载流子浓度——无法观测的问题，基于脉冲微分方程的基本原理和Lyapunov稳定性理论，研究了激光混沌系统的脉冲同步理论，仅使用光强度一个状态变量进行了脉冲反馈控制函数的设计，得到了同步误差阈值、同步控制的时间间隔和同步强度之间所需满足的数值关系。针对固定参数混沌系统容易受到基于相空间重构的非线性预测技术、对混沌系统的参数估计、相图和变形相图分析等方法攻击的问题，提出了时变参数动力系统的解决方案。针对时变参数动力系统的同步问题，基于脉冲微分方程的基本原理和Lyapunov稳定性理论，提出了一种脉冲间隔随时变参数自适应变化的时变脉冲同步方法。证明了时变参数动力系统在Wiggins意义下具有混沌特性。为时变参数动力系统在保密通信中的应用提供了理论基础。基于所提出的混沌混杂自同步理论、时变参数动力系统理论和激光混沌系统的脉冲同步理论，设计了一种时变参数激光混沌保密通信系统方案。针对混沌掩盖、混沌键控和混沌调制三种保密通信方式的安全性缺陷，提出了一种基于混沌混杂自同步的混沌键控保密通信方案，根据Shannon的“唯一解距离”理论，基于所提出的时变参数脉冲同步方法，提出了一种在理论上保证系统参数安全性的参数时变方法。针对现有主要攻击方法的安全性分析表明，时变参数激光混沌保密通信系统的抗攻击能力强。