本论文致力于研究半导体激光放大器(SOA)的交叉偏振调制效应(XPolM)，以及基于XPolM的混沌保密系统和全光偏振移位键控(PolSK)通信系统。 目前光正作为大多数信息传输媒质，在通信领域广泛应用，光信号处理技术正成为当前光子技术的主流。光信号处理多利用非线性介质中光光非线性效应来实现，其中半导体激光放大器作为一种有源介质，非线性系数高达109/w. km、响应时间可达ps量级、体积小、偏振稳定、可集成等特性等优点成为光-光非线性调制的首选。其中，SOA的XPolM效应具有转换速度快，消光比高，输出码型灵活易控等特点，成为当前研究的热点。 本论文第二章首先对半导体光放大器(SOA)的基本工作原理进行分析，着重讨论SOA的交叉偏振调制效应原理，介绍了国内外文献中提出的基于SOA交叉偏振调制效应的各种全光网络器件。 第三章着重分析了基于交叉偏振调制效用的偏振移位键控光传输系统。分为三个层次： 1)介绍了我们实验室在电光混合的DPolSK通信系统方面已经取得的研究成果。进一步地，对SOA的XPolM效应进行了实验和理论分析。力图利用基于SOA的XPolM效应来代替电光混合系统中的信号接收和处理过程，进而构建全光传输处理的通信网络。 2)对XPolM进行了实验原理分析，详细讨论了不同探测光和泵浦光注入时，偏振键控的实验结果，并利用Matlab软件对该实验进行了仿真，为其后的双通道键控系统提供了理论依据。 3)提出了一种新型的、传输距离达到100km的双SOA的4-PolSK全光通信系统。从发射机端输出的PolSK光信号具有四个偏振态，将两个独立的二进制数据信道复用在同一束偏振光上进行传输，提高了传输速率和频谱利用率，且可以兼容不同的码制、码率以及不同的时钟信号；接收机端采用了稳偏接收模块，使得接收系统能够自动跟踪传输光信号偏振态的随机变化，实现光信号直接偏振检测和稳定接收，简化了设计降低了成本。 第四章详细阐述了光学混沌产生系统和同步系统，概述了光混沌以及光混沌同步保密通信，介绍了光混沌的三种产生方式：光电延时反馈、电光反馈式和环形腔激光器混沌产生法。重点介绍了我们实验室已经实现的基于SOA光纤环状激光器的偏振混沌键控保密通信系统，并结合已实现的4-PolSK系统，提出了一种基于双SOA的4-PolSK偏振混沌键控系统。 最后，对本人在读研期间所作研究工作进行了总结和展望。