近年来，随着计算机科学技术的跨越式发展和分数阶微积分理论的日趋完善，分数阶微积分作为整数阶微积分在阶次上的任意推广，其在物理、化学、生物、工程等诸多方面表现出的强大优势和广泛的应用前景，引起了国内外学者们的广泛注意，已经成为当下的热点研究领域。其中，分数阶非线性系统的稳定与控制一直是研究的热点与难点。本文主要围绕几类典型的分数阶非线性系统展开研究，包括分数阶半线性系统、分数阶复杂网络、分数阶混沌系统、分数阶(时滞)神经网络。重点研究了这几类分数阶非线性系统的稳定性、镇定与同步控制器的设计，给出了一系列判断系统稳定的充分条件以及实现系统镇定与同步的控制器设计方法，主要研究内容包括：1研究了一类半线性分数阶非线性系统的稳定性与镇定问题，根据分数阶线性系统的稳定性定理、Mittag-Leffler函数、Laplace变换、Gronwall不等式等以及不等式放缩技巧，通过对系统解的解析式进行估计，针对分数阶α属于0<α <1和1≤α <2两种不同情况，给出了若干个判断该类分数阶非线性系统局部渐近稳定与全局渐近稳定的充分条件，在此研究基础之上，设计了合适的线性状态反馈控制器，实现了这类系统的镇定。研究结果表明只需要对系统的线性部分进行分析和控制，无需对非线性部分做任何调整，具有较好的理论与工程应用价值。理论证明与数值仿真实例均验证了所得结论的正确性与有效性。2研究了两种分数阶复杂网络的同步控制问题。基于分数阶系统稳定性定理和牵引控制的思想，设计了两个合适的反馈控制器，分别给出了若干个判断分数阶复杂网络簇同步和自适应同步的充分条件。在研究簇同步中，所设计的控制器只需要施加在社团之间有连接的节点上，大大降低了控制成本。此外，通过数值模拟验证了内部耦合矩阵、耦合强度、反馈增益、网络拓扑结构对分数阶复杂网络簇同步性能造成的影响。在研究自适应同步中，设计了合适的自适应牵引控制器和反馈增益更新率，得到了复杂网络局部和全局同步的充分条件，解决了分数阶复杂网络实现同步需要控制多少个节点以及需要多大的耦合强度的问题。所考虑的复杂网络模型的内部耦合矩阵和拓扑结构不需要为对称或者不可约以及更具一般性。理论证明与数值仿真实例均验证了所得到的结论的正确性与有效性。3研究了两类分数阶混沌系统的镇定与同步控制。首先，根据分数阶微分方程稳定性定理和Routh-Hurwitz稳定性条件，通过设计合适的线性状态和误差反馈控制器，给出了一系列判断一类分数阶非线性混沌系统镇定与同步的准则，所设控制器形式简单易于实现。有效地消除了该类系统的混沌行为和实现了这类系统的同步，避免了现有相关结果中的诸多缺点。其次，针对一类参数扰动的分数阶混沌系统，依据分数阶线性系统的稳定性和构造合适的观测器，得到了一种分析分数阶不确定混沌系统同步控制的方法，并分别给出了分数阶α属于0<α <1和1≤α <2两种不同情况下该类系统鲁棒同步的充要条件，所得的充要条件为线性矩阵不等形式，确定反馈增益的矩阵形式结构简单且易于通过MATLAB求解。理论分析与数值仿真均证明了所得结论的正确性与有效性。4研究了两种分数阶神经网络的稳定性与同步控制器设计问题。首先，针对不显含时滞的分数阶神经网络，借助分数阶微积分的相关理论和Mittag-Leffler函数，提出了一个较为简单与实用的M矩阵形式的充分条件，在此条件下，可以确保这类系统Mittag-Leffler稳定和渐近稳定。根据所得的稳定性结果，设计了线性误差反馈控制器，实现了这类分数阶混沌神经网络的同步。其次，针对显含时滞的分数阶神经网络，提出了确保这类系统一致稳定的充分条件，同时也得到了该类系统平衡点的存在、唯一与一致稳定性的充分条件。通过设计线性误差反馈控制器，实现了这类分数阶时滞神经网络的同步，所得结果为分数阶神经网络的设计与应用提供了理论基础。理论分析与数值仿真均说明了所得的结果的正确性。