首先，本文建立了自主导航系统模型。给出参考坐标系以及时间系统的描述。建立深空探测器的动力学模型并进行了摄动分析。同时研究了相机系统，给出以像素为观测量的导航系统观测方程。其次，分析了自主导航系统的可观性。研究了非线性系统的可观性秩条件，给出了一种基于观测矩阵奇异值分解的数值方法并对以像素为观测量的导航系统进行了可观性分析。同时在系统可观的基础上，深入研究了自主导航算法。提出了导航小行星规划的标准。利用给出的导航小行星列表，给出了一种基于多颗小行星图像、利用递推加权最小二乘法的自主轨道确定算法并进行了数学仿真。阐述了测量误差、星历误差以及IPS推进误差对轨道确定算法的影响，并进行了结果分析。此外针对轨道确定中出现的数据饱和现象，提出了一种记忆限定算法加以解决。最后给出了导航系统的软件结构及各模块的功能，建立了自主导航系统与GNC系统、自主管理等系统之间的接口关系，分析了导航系统拍照、轨道确定等工作模式，并进行了数学仿真。