近年来,随着空间科学技术的不断发展以及对各种航天任务需求的逐年增加,航天器的自主交会对接技术由于具有广泛的应用范围而备受关注。为成功实现针对地球在轨航天器,尤其是非合作航天器的交会对接任务,鉴于其运动状态的未知性和非合作目标的不可控性,所以需要利用追踪航天器完成针对目标航天器的伴飞、绕飞以及悬停等一系列轨道构型控制任务。因此,本文以航天器在轨服务为背景,基于滑模控制、势函数理论和自适应控制等方法,对航天器轨道构型控制、慢旋非合作目标航天器的主动绕飞避碰控制,以及考虑自主避碰问题的非合作目标航天器交会对接控制等问题进行了深入研究。主要内容如下:首先,研究了带有避碰约束的Euler-Lagrange系统的跟踪控制问题。利用双曲正切函数、势函数和线性滑模函数构造了一种新型的滑模面函数,并以此设计了避碰跟踪控制器,且闭环系统是渐近稳定的。在证明过程中,主要基于双曲正切函数的有界性和势函数的固有属性,确保了系统在跟踪控制过程中不会与障碍物发生碰撞,并且不存在局部极小值问题。通过数值仿真实验,分析并验证了所提出控制器的有效性,被控系统能快速实现对目标信号的跟踪,且不会与障碍物发生碰撞。其次,研究了航天器构型控制中的伴飞、绕飞以及悬停控制等问题。首先,针对航天器伴飞控制问题,建立了描述伴飞运动的C-W方程,给出了相应的长期伴飞脉冲控制策略。并且基于滑模控制理论设计了连续的、渐近稳定的伴飞控制器。仿真结果表明,所设计伴飞控制器均能实现高精度伴飞,且连续伴飞控制相对于脉冲控制具有更高的控制精度;其次,针对航天器绕飞控制问题,分别给出了自然绕飞和主动绕飞控制策略。其中,在自然绕飞控制中分别对自然椭圆绕飞和异面自然椭圆绕飞进行了研究分析,在主动绕飞中给出了脉冲绕飞控制策略;再次,基于快速终端滑模设计了有限时间收敛的连续主动绕飞控制器。仿真结果验证了上述绕飞控制策略的有效性,且所设计的主动绕飞连续控制器相对于脉冲绕飞控制器具有更高的控制精度;最后,针对航天器悬停控制问题,给出了工程上适用的悬停控制策略。并且,基于多变量超螺旋滑模(Multivariable Super-Twisting Sliding Mode,MSTSM)方法,提出了一个无抖振的、有限时间收敛的悬停控制器。同时,为解决输入受限问题,基于双曲正切函数和辅助系统方法,构造了一个输入受限的、有限时间收敛的悬停控制器。针对上述悬停控制器均给出了严格的理论分析和证明,并通过数值仿真实验验证了所设计悬停控制策略有效性和高精度性。再次,研究了慢旋非合作目标航天器的主动绕飞避碰控制问题。首先,考虑球形避碰主动绕飞模型,并针对航天器外部扰动上界已知的情况,基于双曲正切函数和辅助系统,设计了有限时间输入受限的主动绕飞避碰控制器,解决了存在输入受限约束条件下的主动绕飞避碰控制问题。并通过结合自适应控制技术,设计了鲁棒自适应有限时间输入受限避碰控制器,解决了航天器外部扰动上界未知情况下的航天器主动绕飞避碰问题;其次,考虑椭球避碰主动绕飞模型,以进一步解决球形碰撞区域建模情况下无法实现的主动绕飞避碰问题,并基于双曲正切函数和改进的滑模面,分别针对外界扰动上界已知和未知的情形设计了渐近收敛的主动绕飞避碰控制器;最后,基于改进的非奇异终端滑模面,针对外界扰动上界已知和未知的情形,分别设计了有限时间收敛的主动绕飞避碰控制器。通过理论分析和数值仿真实验验证了所提出主动绕飞避碰控制策略的正确性和有效性。最后,研究了考虑自主避碰的非合作目标航天器的交会对接控制问题。首先,建立了基于椭圆蔓叶线的避碰模型,并利用势函数和滑模控制方法设计了满足自主避碰约束的非合作交会对接控制器;其次,为了进一步解决姿态展开问题以及避免碰撞问题,建立了基于旋转矩阵描述的姿态轨道耦合相对运动控制模型,并设计了改进的自主避碰交会对接控制器;最后,为了获得更好闭环控制效果,提出了有限时间收敛的控制策略,使得被控系统具有有限时间收敛速度和避碰性能。理论证明和数值仿真结果进一步地验证了所提出自主避碰交会对接控制器策略的正确性和有效性。