现代机械设备,如变速箱、机器人、航空发动机、风机、水泵等,对齿轮传动系统的动态特性及安全性提出了更高的要求。另外,故障诊断对于保障设备的安全运行、避免灾难性事故的发生和减少重大经济损失具有十分重要的意义。齿轮传动系统的非线性动力学研究以及故障诊断技术已受到国内外学者的广泛关注。因此,本文对含有非光滑性、非线性和随机性的齿轮传动系统非线性动力学及故障辨识技术进行了深入研究。本文主要内容如下：1.运用Monte-Carlo法和中心极限定理对齿轮啮合频率、齿轮阻尼比、啮合刚度、齿侧间隙等随机扰动以及输入力矩引起的随机扰动进行了数值模拟。2.考虑齿轮啮合频率、阻尼比、啮合刚度、齿侧间隙等随机扰动以及输入力矩引起的随机扰动建立了齿轮传动系统的随机非线性动力学模型,并建立了随机扰动下含磨损故障的齿轮非线性动力学模型。应用4-5阶变步长的Runge-Kutta法对动力学方程进行了数值分析,并验证了其有效性。3.综合运用时间历程曲线图、相图、Poincare图、功率谱图和Lyapunov指数,讨论了齿轮传动系统内部参数和外部激励的随机扰动对系统产生分岔和混沌振动的影响；分析了载荷比、齿频比、阻尼比、齿侧间隙和啮合刚度等各个随机参数在不同工况下对系统动力学特性的影响；并探讨了如何匹配参数使系统稳定运行。4.应用线性、非线性反馈控制法以及外加周期信号法、外加恒定载荷法和位相法等三个非反馈控制法对齿轮传动系统中的混沌振动进行了有效的控制或抑制。5.针对齿轮磨损故障,本文提出了一种基于Symlets A小波族形态去噪和频率切片小波变换的故障辨识方法。仿真分析和实验测试结果相一致,验证了含齿面磨损故障模型的正确性和此方法的有效性。6.针对滚动轴承点蚀故障,本文提出了一种自相关形态滤波和经验模态分解的故障辨识方法。用实验验证了此方法的有效性和优越性。