为了支持未来的载人登月任务，由于月球的遮挡，仅依靠地面深空站是无法完全覆盖跟踪月球轨道交会对接的全过程的。因此，为了为未来载人登月实施月球轨道交会对接提供全天候不间断的数据中继通信与跟踪测轨服务，必须建立像近地轨道的跟踪与数据中继卫星星座。目前国内外已经对月球中继卫星星座的构形进行了初步研究，而本论文即是在此基础上，并考虑探月初期会布设较少的月球中继卫星，重点研究如何利用单颗月球中继卫星，将登月舱导引到服务舱附近，以确定交会对接的相对状态，最终达到支持月球轨道交会对接的目的。要利用月球中继卫星提供跟踪测轨服务，首先需要利用地面深空站对月球中继卫星进行定轨。本论文基于地面深空站的测距测速观测量，研究了fg级数最小二乘初轨确定算法和轨道改进算法，其中轨道改进算法包括事后处理的加权最小二乘法和实时处理的卡尔曼滤波方法；仿真结果表明，初轨确定算法能够提供可靠的初值，而利用轨道改进算法对月球中继卫星的定轨精度，位置精度达到了米级，速度精度达到了厘米每秒级。其次，基于月球中继卫星的精确轨道，研究了登月舱只与一颗月球中继卫星可见时和登月舱与一颗月球中继卫星和服务舱同时可见时的测距测速初轨确定算法，并对两个算法的性能进行了大量的仿真；在适当的观测条件下，这两个算法都能够提供精度较高的初值，另外也分析了观测数据的多少和采样步长的大小对这两个算法的影响。在通过以上方法将登月舱导引到服务舱附近后，最后研究了利用交会雷达的测角测距测速观测量，分别基于登月舱的绝对运动状态方程和交会对接的相对运动状态方程，结合卡尔曼滤波算法，实现了对交会对接相对运动状态的实时估计；通过大量的仿真表明，在交会对接的逼近阶段和对接靠拢阶段，相对状态的估计精度达到了指标要求。本论文以月球中继卫星为研究背景，针对以上三项内容，设计和研究的一整套轨道确定算法，为未来我国布设月球中继卫星星座并将其充分应用于探月任务，提供了合理可行的方案。