小天体引力场中的轨道动力学是现代天体力学的一个重要研究方向，其中包含着丰富的物理现象和深刻的数学内涵。随着一系列小行星实地探测任务的深入开展，理解小天体附近的轨道运动规律也成为航天领域所面对的众多挑战之一。本文作为一项应用基础研究，尝试在近似真实的动力学模型下，讨论具有代表性和普遍意义的轨道动力学问题，考察了小天体引力场中的四类轨道运动：平衡点、周期轨道、赤道面附近的共振轨道和表面附近的自由运动轨道。对这四类轨道的研究，都以真实小天体为对象，基于多面体法发展新的数值计算方法，包括搜索小天体附近大范围周期轨道的分层网格算法、用于模拟小天体表面附近自由运动的全过程仿真算法等，并开发了相应的FORTRAN程序包。在平衡点和周期轨道的研究中，本文关注系统的定性性质，特别是这两类运动附近的一般轨道性态。通过对小行星216Kleopatra系统零速度面三维几何结构的分析，确定了4个平衡点的稳定性和特征结构；引入局部流形上的运动分析方法，得到了平衡点附近的6族局部周期轨道，并确定了各平衡点附近轨道运动的一般形式。发现了Kleopatra附近的29个周期轨道族，应用Poincaré映射方法研究各族轨道的稳定性和拓扑结构，并研究各族轨道拓扑类型的转换规律。通过对线性化映射的特征结构的分析，给出了29族周期轨道附近的5类基本运动形式，根据运动分解的观点，确定了周期轨道附近的一般轨道性态。在共振轨道和自由运动轨道的研究中，本文强调数值试验方法对特定的小天体系统研究的作用。从能量角度说明了赤道面附近的1:1共振的动力学本质，通过参数空间上的网格搜索，分析该类共振发生的参数条件，说明了1:1共振是形成抛射轨道的主要原因；进一步给出了抛射轨道在参数平面上的分布情况，确定了形成抛射轨道的临界条件，说明Kleopatra附近存在共振导致的危险区域。在对小行星1620Geographos表面附近自由运动的研究中，分析了平衡区域与表面坡度的相互联系，并说明起飞速度对局部地形曲率的依赖性。通过Monte Carlo仿真，分析了贴近Geographos表面的自由运动轨道的一般形式，确定了影响小天体表面附近自由运动的几种主要动力学机制。需要说明的是，虽然本文的各项研究都是基于特定的小天体模型开展的，但文中所讨论的是所有小天体系统的共性问题，并且研究思路和方法对一类小天体对象是通用的，因而具有比较广泛的借鉴意义和参考价值。