空间激光通信是利用激光作为载体进行数据传输的一种无线通信方式,具有信息容量大、电磁兼容能力强、保密性好、通信器件尺寸小易集成等优点,在半个多世纪的时间里受到了广泛的关注。美国、欧洲和日本等国家和地区在该领域持续投入研究并取得了丰厚的成果,我国在该领域起步较晚处于追赶阶段,近些年来取得了不错的进展。光学天线是空间光通信中的核心器件,激光信号的发射和接收都要通过光学天线来完成,因此光学天线的性能好坏直接影响空间光通信的通信距离、传输效率、稳定性等关键指标。本论文主要研究空间光通信中的光学天线以及光学器件之间的耦合问题,目的是提高光学天线的传输效率,主要内容如下:(1)简要阐述了半导体激光器的工作机理,分析了半导体激光器发出的高斯光束的传输特性和发散特性,在此基础上探讨了双透镜的准直系统对高斯光束的准直。(2)对比分析了不同类型的光学天线的优缺点,反射式光学天线在空间激光通信中优势明显。运用矢量折反射定律设计了卡塞格伦型发射天线和接收天线组成的天线耦合系统并进行了三维光线追迹。发射天线和接收天线在对准过程中难免会产生偏差,文中对接收天线的偏差引起的耦合效率变化进行了分析;针对光学天线反射面反射率的问题设计了全反射光子晶体反射薄膜,这种薄膜镀在卡塞格伦光学天线的表面上可以有效地提高光学天线的性能。对光学天线发射激光信号由接收天线接收,再经过光纤耦合器耦合进入光纤的过程进行了实验验证,实验结果与仿真分析趋势一致。(3)基于矢量反射定律推导了双反射面自由曲面设计方法,并运用该方法设计了一种离轴双反射面光学天线。(4)针对卡塞格伦天线中心遮挡的问题设计了一种产生空心光束的螺旋菲涅尔波带片,该光学元件通过光的衍射产生带涡旋相位的空心光束。分析了螺旋菲涅尔波带片环数和拓扑荷数对光斑半径、光斑空心半径和空心部分在光斑中占比等光斑参数的影响。