行星减速器作为机械传动系统的重要组成部分，应用广泛。如果减速器出现故障，会对企业的生产安全和经济效益带来严重负面影响。根据机械设备可靠运行的迫切需求，针对行星减速器的故障难题，尤其是振动信号传输路径复杂，信号相互耦合，导致振动信号呈现大噪声，非平稳，多分量的特点，本文开展基于振动信号特征分量提取方法和故障模式识别的方法的研究，对于机械设备的可靠运行和企业的安全生产具有重大的科学意义和工程价值。本文研究了行星减速器模型的振动机理，综合考虑时变啮合刚度、齿轮啮合间隙、误差激励的影响，介绍了多间隙、变参数、弯扭耦合的行星减速器非线性动力学模型，用以表征行星减速器的动态特性。本文通过分析建立了行星减速器正常状态，分布式故障状态和局部故障状态下的振动信号模型。行星减速器相比于一般减速器，内部零件较多，相对运动复杂。行星轮公转会产生“通过效应”，导致固定在行星减速器外壳上的传感器采集到的振动信号成分复杂，形成多分量的调幅-调频信号。针对多分量的调幅-调频信号，本文提出了改进的迭代希尔伯特变换（IHT）方法，用于提取特征分量。现有的迭代希尔伯特变换（IHT）存在端点效应和滤波器设计依靠先验知识的局限性。本文分析了端点效应产生的原因，提出了对称信号延拓方法来消除端点效应的影响。同时，提出了一种自适应的零相位滤波器取代原方法中的固定滤波器。将改进后的IHT方法和原方法进行仿真对比分析，证实了该方法的解调精度更高，并有效地抑制了端点效应。样本熵可以有效的反映信号内部结构的复杂程度，多分类支持向量机可以准确实现小样本的分类问题。本文设计了行星减速器行星轮故障实验，通过改进的IHT方法、原IHT方法和EMD方法提取信号的特征分量。对比发现改进的IHT方法分解效果最好。将信号分量的样本熵和转速信息构成特征向量，采用多类分类支持向量机诊断出行星减速器故障类型。实验分析结果表明，基于改进的迭代希尔伯特变换和支持向量机的方法，可以有效地诊断行星减速器的多种故障类型。