基于混沌动力学的混沌控制研究是当前非线性动力学的前沿问题。本文对综合考虑时变刚度、间隙非线性的齿轮系统的混沌动力学行为及其混沌控制问题进行了系统、深入的研究，取得了一些成果和进展，论文主要内容如下：1．针对单级齿轮系统，分别建立了具有分段线性特征的单自由度非线性动力学模型、综合考虑齿侧间隙和时变啮合刚度的三自由度非线性动力学模型，利用数值积分方法计算了系统的混沌响应，计算了系统的Lyapunov指数谱。2．研究了增量谐波平衡法在具有分段线性特征的齿轮系统中的应用和对分段线性项的特殊处理过程，以及利用Floquet理论对周期解的稳定性和分岔类型的进行判定的方法。分析了激励频率，轴承阻尼这些参数对系统动力学特性的影响，绘制了系统随激励频率变化的响应曲线，观测到系统通向混沌的倍周期分岔和拟周期分岔路径，以及导致系统出现多重稳态周期解的鞍。结分岔。研究表明，IHB方法计算得到的周期解能很好地与采用数值积分方法计算得到的结果相吻合。算例展示了IHB方法在求解具有分段线性特征的三自由度齿轮系统周期解的有效性和准确性。3．探讨了传统OGY方法的基本原理及其与现代控制理论的关系，证明了OGY控制方法其实质是一种特殊的极点配置技术；研究了如何将传统的OGY混沌控制方法拓展应用在齿轮系统这样的连续系统上，包括通过打靶法计算目标周期轨道位置，通过微分方程的变分形式计算目标周期轨道点处的Jacobi矩阵和敏感度向量；通过数值仿真成功地实现了单自由度齿轮系统多周期轨道的稳定化；给出了详尽的单自由度齿轮系统混沌控制的效果分析。4．在对齿轮系统混沌吸引子内部不稳定周期解分析的基础上，提出一种多步混沌控制的方法。分析表明齿轮系统在一定参数区域具有典型的非双曲性质，表现在周期轨道点处的不稳定维数和稳定维数变异、Jacobi矩阵存在位于单位圆上的复共轭特征值。因此针对不稳定维数和稳定维数发生变异的两种情况，分别建立相应的混沌控制策略，通过连续的参数扰动将系统状态驱动到周期轨道的局部稳定流形上。多步控制方法本质上是经典OGY控制算法在高维非双曲动力系统中的推广，并解决了具有复共轭特征值的长周期轨道控制的难题。5．利用延迟坐标技术建立了三自由度齿轮系统的混沌控制方案。通过对系统状态标量时间序列的分析，分别利用平均互信息函数方法和平均伪最近邻点方法获得了重构齿轮系统相空间的最优延迟时间和最小嵌入维数，建立了构建齿轮系统延迟坐标向量的完整方案。提出了在状态加参数系统中实现周期轨道稳定化的混沌控制算法，研究了从实测时间序列获得实现控制所需的各项参数的数据分析方法。数值仿真结果证实了混沌控制方法的有效性。6．在齿轮动力学试验台上对齿轮系统的动态响应进行了测试，与理论计算结果进行了比较，证明了分析模型和计算机方法的有效性。