齿轮是旋转机械中最常见的部件之一,被广泛应用于汽车、风力发电机、高铁等重要机械设备中。在实际工业生产中,齿轮在重载、复杂的环境下运行,会产生裂纹、断齿、剥落、点蚀等故障,这些故障可能造成设备质量问题甚至引发严重的安全事故。因此,开展齿轮故障机理以及齿轮故障诊断方法研究具有重要意义。由于在实际生产中采集的齿轮故障信号样本具有不均衡特性、且故障类型单一,再加上噪声的干扰以及传统深度学习网络模型自身的缺陷,势必造成故障识别率低和原始生成式对抗网络易发生模式坍塌等问题。因此,亟需建立齿轮系统动力学模型,揭示齿轮故障振动机理;同时构建深度学习智能诊断模型,实现在小样本条件下对故障模式进行准确分类,为丰富齿轮故障诊断手段提供坚实的理论依据及方法支撑。本文以二级减速齿轮箱为研究对象,在研究直齿圆柱齿轮时变啮合刚度的基础上,建立了含齿面剥落缺陷与齿根裂纹缺陷的齿轮啮合刚度计算模型,分析了不同尺寸缺陷对时变啮合刚度的影响规律。同时建立六自由度齿轮系统动力学模型,探明故障对齿轮系统动态响应特性的影响,并通过试验数据验证了模型的正确性。另基于混合生成式对抗网络（Mixture generative adversarial nets,MGAN）和卷积神经网络（Convolutional neural networks,CNN）实现在小样本条件下对齿轮故障进行准确识别。主要研究内容如下:（1）基于能量法、赫兹接触理论等,建立包含正常齿轮、剥落缺陷、齿根裂纹缺陷的时变啮合刚度模型,厘清不同故障类型、故障尺寸对啮合刚度的影响规律;（2）建立六自由度齿轮系统动力学模型,利用Runge-Kutta法求解出包含正常、剥落、裂纹故障的齿轮动态响应,探明不同故障尺寸对系统动态响应特性的影响规律。并搭建齿轮故障诊断试验台,将试验数据与仿真数据进行对比分析,验证模型的正确性;（3）提出基于MGAN与CNN的齿轮箱智能诊断方法,将真实齿轮信号经形态学滤波处理后通过时频变换技术转变为时频信号,利用MGAN网络合成新样本来获得一个充足数据集,克服样本不足的问题;同时,分析MGAN网络主要参数对合成样本质量的影响规律;采用充足数据集训练CNN进行故障诊断,有效提高故障诊断率。为实现齿轮箱典型故障提取及智能识别提供新的研究思路。