卫星激光通信被誉为新一代的空间通信技术，具有数据率高、通信容量大的独特优势，是满足现代社会对信息快速、实时传输需求的最佳途径。星间高速激光通信链路作为未来太空信息高速公路的骨干链路，是实现未来天地一体化高速实时光通信网络的关键，具有重要的经济和战略地位。为了在链路距离高达数万公里的卫星间进行激光通信，激光束散角小的特点，以及星间相对运动、卫星平台振动等因素的影响，要求必须通过捕获、跟踪来完成星间激光链路的建立和保持。捕获的快速完成是在有限的链路时间内进行最大信息量传输的前提；高精度、高稳定的跟踪是链路进行可靠通信的保障。因此，为了充分发挥星间激光通信的优势，实现大容量高可靠性的通信，有必要对星间激光通信的链路性能和通信性能进行深入的理论研究。星间激光通信系统是集光、机、电于一体的高精密设备，具有结构复杂、功能多样以及系统参量相互制约等特性，因此，目前关于星间激光通信中链路性能和通信性能的研究还有待于进一步完善。此外，随着卫星激光通信空间实验的成功，为了推进星间激光通信的实用化和商业化，各国都致力于高度集成化、小型化、轻量化系统的研究。考虑到星间激光通信系统设计方案的改进以及核心元器件的更替，需要从实际情况出发对一些问题进行重新研究。鉴于上述情况，本论文首先对信标光捕获机制和无信标光捕获机制的捕获性能进行了理论和实验研究，然后对单CMOS探测器星间激光通信系统中精跟踪子窗口的优化问题进行了理论和实验研究，并探讨了CMOS探测器误差对跟踪性能尤其是双向闭环跟踪稳定性的影响，最后从理论上分析了随机跟瞄误差角抖动对星间激光通信中信道容量和错误概率的影响。具体内容包括以下几个方面：1.对适用于星间激光通信链路的捕获过程进行了理论建模。推导了全场扫描和步进式扫描两种捕获模式的单场扫描平均捕获时间，得到了解析表达式；基于解析表达式，对比分析了不同系统和链路参数下两种捕获模式的优劣。鉴于无信标光捕获机制在小卫星中的应用前景，且考虑到实际信号光扫描捕获过程中需要采用多场扫描来保证捕获概率，利用单场扫描平均捕获时间的解析表达式，对多场扫描平均捕获时间进行了推导并得到了解析表达式；基于该解析表达式，给出了多场扫描捕获时间的优化条件。最后进行了星间激光链路单场和多场扫描捕获的地面模拟实验，验证了理论分析的正确性。2.对卫星平台振动条件下单CMOS探测器星间激光通信系统中精跟踪子窗口优化问题进行了研究。在焦平面阵列探测器上，建立了卫星平台振动条件下接收光斑随机抖动的统计模型；基于该模型，得到了CMOS探测器上最佳精跟踪子窗口的约束方程；以OLYMPUS卫星平台振动特性为例，对最佳精跟踪子窗口的优化进行了数值仿真。最后，进行了平台振动对接收光斑随机抖动特性影响的模拟实验，验证了理论分析的正确性。3.研究了CMOS探测器测角误差对系统跟踪精度以及双向闭环跟踪稳定性的影响。分析了单向跟踪时系统跟踪误差与CMOS探测器误差之间的关系，建立了双向闭环跟踪时两个光终端上跟踪误差角方差的相互制约关系模型；重点对两光终端跟踪子系统全同条件下双向闭环跟踪链路的稳态问题进行了研究，给出了稳态存在、跟踪误差角方差收敛、以及稳态跟踪误差角方差等对CMOS探测器参数的依赖关系。4.针对OOK通信系统，研究了随机跟瞄误差角抖动对星间激光链路的通信能力和信息传输的可靠性的影响，对有、无静态偏差角时的情况进行了分别讨论。建立了随机跟瞄误差角抖动下星间激光链路的传输矩阵，给出了最大信息传输率时的最佳输入概率；研究了最佳输入概率和信道容量随系统各参量的变化规律。建立了随机跟瞄误差角抖动下星间激光链路的错误概率模型，给出了错误概率最小时的最佳束散角；在最佳束散角条件下讨论了其它系统参量对错误概率的影响。本论文的研究工作进一步完善了星间激光通信中关于捕获、跟踪以及通信的理论，为星间激光通信系统的优化设计提供了理论依据。