在多维混合复用技术的发展中,偏振复用技术可以通过增加光通信的通道数量来提高整体通信速率,从而在近年来吸引了大量关注。偏振控制器件是偏振复用技术的关键器件。当前,已有的偏振控制器件的研究中,以硅基光电子器件为主。但由于硅基器件的尺寸都较大,不利于提高芯片的集成度。等离子极化激元波导因其可以显著减小器件尺寸而备受关注,本文预期研究基于等离子极化激元波导的新型偏振控制器件与相干接收机。论文首先介绍了偏振复用通信系统和相干光通信系统的基本原理、关键器件及应用,接着介绍了光波导理论、等离子极化激元波导理论和本征模展开算法,其中重点讨论了等离子极化激元波导的结构和模式特性,据此讨论减小光学器件尺寸、提高芯片集成度的可行性。在具体研究中,介绍了实现偏振转换器的两种工作原理及其结构,并提出了一款基于等离子极化激元波导、含有对称金属条的偏振转换器。该器件由Si波导,SiO₂基底和包层和两条关于光轴对称放置的金属条组成。利用两个正交模式的模式特性,可以实现小尺寸的偏振转换器。仿真表明波长为1.55μm时该器件尺寸仅为4.58μm,偏振旋转效率为99.9%,插入损耗为0.82 dB,消光比为30.4 dB。对于C波段,PCE大于99.6%,插入损耗低于1 dB,消光比大于24 dB。随后,介绍了基于多模干涉器的光学混频器的工作机理及结构,利用多模干涉器（MMI）的自映像效应设计了基于硅基波导的1×1 MMI、2×2 MMI和4×4 MMI光学混频器和相干光接收机。进一步,论文提出了一种基于混合等离子极化激元的4×4 MMI光学混频器。首次分析了混合等离子极化激元高阶模传输特性对一般性干涉成像及相位特性的影响,并通过优化设计获得符合工业标准的90°混频器。该器件工作在1550 nm波长时,最大相位误差小于1.3°,最大不均匀度小于0.6 dB,CMRR小于-20 dB。