齿轮作为机械设备中应用最广的动力传递装置,其具有的振动特性对整个机械设备的工作性能有十分重要的影响,所以对齿轮系统振动特性的研究具有重要的理论以及现实意义。本课题以一类含齿侧间隙及时变刚度的齿轮副传动系统为研究对象,着重研究了系统的非光滑振动特性,并结合自抗扰控制策略,设计了一款基于干扰的补偿控制器,有效的抑制了系统中出现的振动现象。首先,综合考虑齿轮传动系统中的时变刚度、间隙、静态传递误差等因素,依据牛顿定律,建立了一类含间隙非光滑特性的机械模型。结合齿轮系统的实际工作状况将其运动状态归纳为了三种情形,为了能够对各种运动情形进行分析,引入了连续映射以及不连续映射的概念,随后,采用映射的思想,以外载荷为参数对系统的周期响应进行了分析;采用Floquet理论并结合映射的思想给出了判断其稳定性的方法,通过数值仿真对周期运动的稳定性以及失稳方式进行了预测;同时,为了判定系统是否处于混沌状态,求出了系统的最大Lyapunov指数谱;最后,为了验证上述理论合理性,给出了系统的全局分叉图,通过对比得到了一致的结论。其次,考虑齿轮副系统的间隙和时变特性(包括时变刚度以及静态传递误差)建立了非线性扭转振动模型,并通过各种手段,包括系统分叉图、相图、Poincare截面以及最大李亚普诺夫指数谱等途径研究了系统在时变参数激励下的复杂非线性振动特性,研究发现,系统在不同的啮合频率范围内会产生不同形式的扭转振动,其中包括完全啮合的单周期振动,单边碰撞的单周期运动,单边碰撞的多周期运动动以及混沌状态。最后,为抑制系统中参数激励导致的各种非线性振动现象,设计了一种基于自抗扰控制技术的补偿控制器,数值仿真表明该控制器可以有效的抑制时变参数激励引起的各种振动。