本文主要研究了两类非线性随机微分方程的稳定性理论及其在Lotka-Volterra模型中的应用,分析了几种随机因素(Brown运动,Markov链和奇异Markov链)对系统长时间动力学行为的影响.本文的主要内容包括以下五个部分.第一章介绍了相关随机微分方程的稳定性理论以及应用在种群系统的研究进展,并给出本论文的工作概要及贡献.带有奇异Markov链的随机微分方程在大规模工业生产、大系统的控制和优化等领域具有重要的作用,然而目前的相关理论研究多数集中在线性系统.在第二章,我们研究了带有奇异Markov链的非线性随机微分方程的动力学性质,其中小参数用来反映系统在离散状态间切换的不同频率.这种带有两尺度切换频率的Markov链被称为两时间尺度Markov链或奇异Markov链.在平均化原理型的充分条件的保证下,我们利用摄动Lyapunov方法和渐近分析方法,获得了受奇异Markov链驱动随机微分方程的矩有界性、矩指数稳定性和测度的收敛性.该部分结果去掉了前人线性增长的条件,并举例说明了具有强非线性的SDEs的稳定性.非线性方程的耦合系统是另一类状态空间很大的复杂系统,被广泛应用于神经网络,生态系统和工程控制等领域.在第三章,我们考虑了网络上具有可变时滞的耦合随机微分方程的动力学性质.首先结合图理论和随机Lyapunov分析法得到解的整体存在唯一性.然后通过有向图的结构构造适当的Lyapunov泛函,利用非负半鞅收敛定理,获得了解过程的几乎必然稳定性,并给出限定系统极限集的充分条件.最后,将上述结果应用到Lotka-Volterra模型和振荡系统,验证了该部分的理论结果.鉴于种群系统不停遭受到来自系统内部和外部的随机干扰,第四章作为非线性随机系统的主要应用,研究了带有Markov切换的随机多种群Lotka-Volterra模型,给出系统随机持久性的充分条件,以及解过程在样本路径意义下的渐近估计.进一步考虑了互惠关系的Lotka-Volterra模型,获得了随机强持久性以及遍历性.这些结果解释了实际中种群数量的常返现象,并揭示了随机切换可以抑制种群不持久的特性.在上一章基础上,针对环境状态的多样性以及随机环境间切换速率的不同,第五章提出带有奇异Markov切换的随机多种群Lotka-Volterra模型,研究了其长时间的动力学行为.我们首先利用鞅方法获得系统在有限时间的弱收敛,然后以弱极限系统的结构为桥梁,利用摄动Lyapunov分析法,得到种群的随机(强)持久性和灭绝性.此外,我们给出在长时间下,原系统的渐近测度弱收敛到极限系统不变测度的充分条件,即非线性多种群系统测度收敛的平均原理.揭示了奇异摄动的切换对种群数量的不持久具有抑制作用.