不规则小天体系统在太阳系中广泛存在,包括小行星和彗星、双小行星系统、三小行星系统等。本文研究了任意多个不规则小天体组成的系统中的动力学行为及其内在机制。包括单个小天体引力场中周期轨道族的延拓与分岔以及多重分岔、参数变化下单个小天体平衡点的碰撞与湮灭、小天体表面跃迁的动力学行为、表面毛细作用的分布规律,以及双小行星系统的动力学环境和多小行星系统的动力学环境。还对不规则引力场中的尘埃的动力学行为进行了探索研究。研究基本上沿着系统中不规则天体的个数从少到多、从简单到复杂的顺序。在小天体附近周期轨道的计算与延拓中,计算并分析了小天体附近不同拓扑类型、共振比以及稳定性的周期轨道,研究了周期轨道族的多参数延拓,发现了伪倍周期分岔行为,发现共振的周期轨道族在延拓中出现倍周期分岔的行为,发现了一族周期轨道在延拓过程中的多重分岔现象。在研究参数变化下的平衡点动力学行为的过程中,发现在小天体参数变化下,存在平衡点的碰撞与湮灭行为及化生与分离行为。并发现了小天体所有相对平衡点满足的守恒量,发现并证明了小天体引力场中非退化平衡点的个数是奇数。指出平衡点碰撞与湮灭过程中的多种可能的分岔类型,并在三小行星系统(216)Kleopatra的平衡点碰撞湮灭过程中发现了鞍结分岔和鞍鞍分岔。研究了小天体表面跃迁的动力学行为,该研究对于分析表面颗粒跃迁、表面塑形、探测器软着陆等都有重要的意义。导出了一般不规则天体表面平衡的线性化方程与特征方程。发现并证明了不规则体的表面颗粒运动的表面平滑点的非退化表面平衡的个数为偶数的重要结论。采用N-body模型对小天体引力环境进行建模,通过微小软球覆盖表面来模拟土壤和碎石。研究了颗粒在小天体表面的跃迁。发现小天体表面平坦区域或凹区域上方释放的颗粒经过较短的轨迹和时间可静止于小天体的表面,并且颗粒的高度下降迅速。而凸区域上方释放的颗粒则经过显著长的时间和轨迹才能静止于小天体表面。弹跳高度并非逐渐降低。此外,还导出了小天体表面毛细管液面分布的公式。计算并分析了毛细作用的全局分布行为。研究了双小行星系统中的动力学行为,分析了双小行星系统的相对平衡。给出了简化的双小行星系统和一般的双小行星系统的相对平衡所满足的条件。研究了若干双小行星系统的引力环境和双小行星系统(243)Ida、(1089)Tama和(1862)Apollo的局部地形地貌处的引力与有效势。考虑多小行星系统和全六体系统(134340)Pluto-Charon的动力学。建立了全N体问题的动力学模型,推导了多小行星系统的相对平衡、部分引力锁定、自旋-轨道锁定的平衡条件和相关规律。研究了5个三小行星系统(45)Eugenia、(87)Sylvia、(93)Minerva、(216)Kleopatra和(136617)1994CC的动力学行为。展现了全六体系统(134340)Pluto-Charon的冥王星(Pluto)和卡戎(Charon)锁定,展现了冥王星和卡戎的轨道角速度、姿态角速度共4个量大小基本相等。同时发现姿态角速度大小并非完全是常数,而是有一定的周期性变化,冥王星的姿态角速度的周期大于卡戎的姿态角速度。最后将研究对象不仅考虑引力场,还考虑静电场和磁场,初步探索研究了不规则的彗核附近的大尘埃颗粒的动力学行为,该研究考虑了彗核的强不规则形状。发现了尘埃颗粒的考虑引力场、电场和磁场的平衡点的相关规律。部分内容是此前章节研究结论的推广。发现考虑彗核1P/Halley的引力场和静电场的情况下,存在稳定的非共振周期轨道、稳定的共振周期轨道和不稳定的共振周期轨道。