分数阶微积分是经典微积分的推广。利用分数阶微分方程建模并与常微分方程描述的模型相比较，往往体现出如下优点：一方面，分数阶模型的参数较少，数学形式更简单。这在粘弹性材料、非Newton流体力学等领域出现的分数阶本构方程中得到体现。另一方面，分数阶微积分具有特殊的性质，如非局部性、记忆特性和幂律现象，并与分形有着密切的联系。这些性质使得分数阶微分方程模型能够自然、有效地描述自然界中一些复杂系统的反常行为和现象，从而弥补经典微积分方程模型的不足。然而，分数阶微积分理论仍处于发展的阶段，完善分数阶微分方程及其系统的理论基础，有效地将其推广到自然科学和工程领域是本文所关注的研究方向。本文具体地，在理论上，对分数阶微分方程及其系统的数值求解、稳定性判断方面作了推广，并得到一些有效的方法和结论；在应用上，以复杂网络、生物工程领域为背景，针对某些现象建立具体的分数阶动力学模型，从动力学的角度来研究这些模型复杂的非线性动力学行为。经典微分方程的解的性质以及精确、高效的解析解或数值算法被大家熟知和认可。而分数阶微分方程的数学理论并不能简单地由整数阶的情形平行推广得到。对于分数阶微分方程，在数值算法方面，目前仍无法得到类似于4阶Runge-Kutta这样高效率、高精度的算法。在解析算法方面，目前其研究进展同样十分缓慢。因此，寻找准确、有效的方法求解分数阶微分方程仍是分数阶领域所关注的热点问题之一。本文在这一方面作了一些尝试，将经典的多步微分变换法推广到分数阶情形，并指出相关文献在运用此思想求解分数阶微分方程时，忽略了分数阶记忆特征项引起的较大误差。在此基础上，本文提出了改进的多步微分变换法求解阶数在0到2之间变化时的线性、非线性分数阶微分方程。对于分数阶系统的稳定性判断问题，目前已给出的分数阶Lyapunov第一方法和第二方法以及推广的Mittag-Leffler稳定性，其数学理论的严密性有待进一步得到合理优化。而基于特征方程的特征根分析方法，尽管目前已有许多学者将经典的判据推广到分数阶情形，但这些方法大多都具有局限性或实用性不强等不足之处。在这些已有工作基础上，本文将整数阶情形经典的Hassard稳定性判据推广到一类线性分数阶时滞系统的稳定性判断上来。在应用方面，本文以复杂网络、生物工程领域为背景，针对某些具体的问题建立相应的分数阶模型，并从动力学角度来研究系统发生Hopf分岔以及混沌等非线性动力学行为。在复杂网络领域，由于许多复杂网络系统具有分形结构特征，而这种分形结构的网络对受到来自外界的干扰或攻击，表现出更强的鲁棒性。本文在经典的非线性时滞小世界网络系统基础上，建立相应的非线性分数阶时滞小世界网络模型。对该模型的非线性动力学行为进行研究，并从平衡点的稳定性角度，利用有效的控制策略来显著延迟系统中的Hopf分岔现象发生，以增强网络的稳定性。在生物工程领域，分数阶微积分用来描述生物细胞或机体组织的动力学行为是一个恰当、准确的数学工具。基于分数阶电容的细胞膜模型能够恰当地描述自身的电介质行为，本文以经典的Morris-Lecar（M-L）神经元模型为基础，建立相应的分数阶M-L神经元模型，利用快-慢动力系统的分岔理论来揭示其丰富多样的簇放电活动。