卫星的自主定轨是现代卫星运行的核心技术之一,而随着卫星星座、编队和集群等概念的诞生,利用星间观测量进行自主导航成为了重要的课题之一。本文针对运行于月球椭圆轨道的双星系统,研究了利用星间的位置矢量进行自主导航的方法,主要的工作如下:由于月球环境和地球存在着极大的不同,因此本文首先研究了月球坐标系及其转换关系的计算问题,在月心惯性坐标系下建立了考虑月球卫星主要摄动项的动力学方程;设计了高性能的联合并行数值积分器,用于快速的轨道预报;并分析了不同摄动因素在不同轨道高度的量级,以及对于轨道外推精度的影响;该动力学方程具有普适性,可以拓展至地球卫星或火星探测器的高精度轨道预报和定轨问题。之后,研究了一种利用惯性空间下的星间位置矢量进行自主导航的方法,并建立其观测模型。对于只考虑中心天体引力的二体动力学,分别利用线性系统和非线性系统的能观性理论,对提出的导航方法进行能观性分析;然后从轨道几何学的角度对自主导航系统的局部能观性进行了直观的描述。最后,研究了用于自主导航的非线性滤波算法,设计了基于无迹卡尔曼滤波的自主定轨方案和基本流程,并给出系统状态转移矩阵的高精度数值解法。对于运行在月球椭圆轨道的双星系统,分别在同轨道面和异轨道面下进行了数值验证。对可能影响定轨精度的要素进行了分析和讨论。结果表明,该自主导航系统不仅能够适用于月球卫星定轨,提高轨道确定精度,还对初始误差具备一定的鲁棒性。