齿轮箱作为核心传动装置,被广泛应用在汽车、轨道车辆、风电机组等各大领域。随着齿轮箱被大量投入使用,其在工作中发生故障的情况也不容忽视。齿轮箱的故障诊断技术和状态检测技术也因此发展了起来。复合故障由于其复杂的故障形式和难以判断的故障表现形式,一直是诊断领域的研究难点。本文以齿轮箱的复合故障诊断作为目标,对齿轮箱存在故障时的工作振动信号做了深入研究。本文主要内容有:（1）对齿轮箱的各类工业中常见的故障进行总结,介绍了齿轮箱中齿轮和轴承的故障机理;探究其故障原因以及发生故障后体现在振动信号中的故障特征;简述了齿轮箱复合故障研究中的难点与研究现状;介绍了本文中采集故障信号的齿轮箱故障试验台的实验仪器与计算参数。（2）提出了互补集合经验模态分解方法（Complementary Ensemble Empirical Mode Decomposition,CEEMD）与1.5维能量谱的齿轮箱复合故障诊方法。CEEMD方法结合一种IMF筛选准则,可以筛选出若干分量中含有故障信息的分量;并结合1.5维能量谱分析强大的噪声鲁棒性,能将CEEMD分析过程中添加的白噪声影响降到最低,从而成功提取出故障特征频率。用试验台采集的复合故障数据进行试验,验证了方法的有效性。（3）提出了基于改进非线性模式分解（Nonlinear Mode Decomposition,NMD）的齿轮箱复合故障诊断方法,该方法改用检测分解残差的多尺度排列熵来判别NMD的分解停止准则,避免了NMD在面对调制程度复杂的故障信号时候可能因为置信水平低而分解失败的缺陷。随后对齿轮箱试验台采集到的齿轮箱复合故障振动信号分析,验证该方法有效性,先用NMD分析,因信号中调制程度复杂导致分解失败;用改进NMD分析故障信号后成功分解得到NM分量,对得到的NM分量进行1.5维能量谱分析,成功提取出齿轮和轴承的故障频率,证明了该方法的有效性。（4）提出基于卷积神经网络（Convolutional Neural Networks,CNN）内嵌长短时记忆神经网络（Long Short-Term Memory,LSTM）的齿轮箱状态监测模型并用同组数据分别对比CNN与LSTM两种神经网络方法的效果。结果基于CNN-LSTM的状态监测模型在分辨齿轮箱复合故障信号时准确率达到86%,证明该方法的有效性。