非线性是机械系统动力学的固有属性。大型机械系统是一个复杂的非线性动力学系统，具有不确定性、非线性、时变性的特点，故障状况复杂，干扰因素多，基于线性理论的机械故障诊断方法具有很大局限性，难以满足实际诊断需要。因此，开展复杂非线性系统的故障诊断和容错控制方法研究具有重要的理论意义和实际应用价值。在本文中，针对复杂非线性系统，研究了智能故障诊断方法和几种复杂非线性系统的容错控制方法。主要研究内容如下：本文研究了小波变换和混沌理论与神经网络相结合进行故障诊断的方法。在故障诊断中，首先利用小波对所分析的信号进行消噪预处理，有效的检测出故障信息成分，并使用关联维数等混沌特征量刻画振动信号的故障特征，对机械设备的状态进行分类和识别，克服了传统方法在故障信号特征提取和分析上的困难。然后提出了小波神经网络的网络模型，并使用改进的遗传算法对神经网络模型的权值和阈值进行优化，避免了传统BP算法的不足，并通过实验，验证了算法的可行性。提出了一类非线性时滞系统的容错控制方法。针对带有故障的非线性时滞系统和非线性切换时滞系统，设计基于自适应故障估计算法的非线性系统自适应观测器，通过对故障的自适应估计设计故障系统容错控制器，并通过李雅普诺夫有界性理论验证算法的有效性。提出了一类时滞中立系统的容错控制方法。针对带有故障的时滞中立系统，采用自适应故障估计算法，设计基于输出反馈的时滞中立系统全维观测器，并通过李雅普诺夫有界性理论验证了算法的有效性。提出了一类非仿射非线性神经网络自适应容错控制方法。由于神经网络的非线性逼近能力，用神经网络对非线性系统故障进行估计，设计了神经网络故障诊断方法，并根据神经网络的逼近能力设计了非仿射非线性系统神经网络控制器，神经网络的权值系数通过自适应算法进行在线调整，根据李雅普诺夫理论，证明了系统闭环跟踪误差是一致有界稳定的。