在现代化生产中，机械设备系统的状态监测和故障诊断问题越来越受到重视，它具有很大的实用价值和经济价值。近几年来，有许多国内外学者对此进行了很多研究，提出了故障诊断的新方法、新技术。传统的时域分析、频域分析和相关函数分析在故障诊断应用中得到了不断的改进，灰色关联度、模糊诊断、智能专家系统、小波分析及神经网络等方法在定性分析系统的运动状态中得到广泛的应用。但是以往复式机械为代表的复杂机械的振动信号具有强烈的非线性和非平稳性，分析人员很难从具有复杂成份的信号中提取准确的故障特征。非线性理论的发展为大型复杂非线性系统的故障诊断提供了新的思路。本文基于这个思想，结合前人的研究与工程实际，对非线性动力学的若干方法及其在工程实际中的应用进行了一定的分析和研究。文章主要的工作如下：(1)分析总结了分析非平稳信号的有力工具—局域波法的时频分析特性：局域波法的瞬时频率特性、局域波的时频分布特性、内蕴函数的递推形式与局域波法的多分辨分析特性。(2)介绍了非线性理论中的常用方法如：相空间重构的方法、延迟时间与嵌入维数的选择、复杂系统中的混沌及经典的混沌系统，并提出了基于振动信号重构吸引子提取特征的思路。(3)提出了基于振动信号重构吸引子SVD降噪的改进局域波分解方法，分析了SVD的降噪过程与基于奇异值的定阶过程，通过仿真实例与工程实例比较说明了该方法的优点，利用该方法提高了局域波法的分解能力，使得局域波分解的分量更有意义，提取的特征更准确。(4)提出了对局域波分解分量进行相空间重构，并计算重构吸引子的奇异熵实现特征提取的方法。通过工程实例的分析并与现有方法的比较，说明了该方法提高了诊断精度，切实可行。(5)提出了时频域多重分形的思路。并将该方法实际应用于故障诊断之中。信号局域波分解的时频域幅值矩阵经过网格划分后，通过最小二乘法计算出广义维数D_q。应用振动信号时频域多重分形方法在往复式压缩机填料泄漏故障进行了实例分析。实测往复式压缩机的振动信号分析表明，时域信号的多重分形只对早期填料泄漏故障较为敏感，时频域多重分形方法随着故障程度的增加其广义维数增加，能够较好的区分故障的严重程度。实践证明该方法在实际应用中切实可行。(6)分析介绍了往复式机械状态监测的关键技术，并结合工作实际提出了往复式压缩机在线监测系统的设计方案。