本论文由下面三个课题组成：第一个课题是研究完全耦合的正倒向随机微分方程的适定性，其中正向和倒向方程中均含有次微分算子。此外，我们还研究了与此类方程相关的偏变分不等式。第二个课题是针对于由分形布朗运动驱动的倒向随机微分方程，这里我们的分形布朗运动的Hurst参数大于二分之一。我们研究了带有和不带有次微分算子两种情形下的分形倒向随机微分方程。这篇论文的最后一个课题研究分形布朗运动驱动下的随机微分方程的生存性问题。　　 上面的三个课题都旨在研究状态受限的随机微分方程。事实上，对于此类问题，我们可以从很多不同的角度去理解。其中一个途径是通过研究随机微分方程的系数条件，使得此方程的解始终在给定的一个闭集K()Rd里，不论它的起始点在K里如何变化。这类问题就是所谓的生存性问题。另外一个途径是通过在原来的随机微分方程上以最小的方式加上一个有限变差过程使得此方程的解依然能够停留在K里，即使此方程不满足生存性所需的条件。这就是所谓的反射方程。作为更一般的情形，我们用一个适定的凸函数ψ：Rd→R的次微分算子来代替K，这样就意味着研究含有次微分算子的随机微分方程，我们称之为随机变分不等式。而在本论文中，我们一方面研究了由经典布朗运动驱动的完全耦合的正倒向随机变分不等式，另一方面，在分形布朗运动的框架下，我们研究了随机微分方程的生存性问题以及倒向随机微分方程和倒向随机变分不等式。　　 下面将更进一步的介绍论文的内容以及论文的结构。　　 在绪论中，我们介绍从第二章到第四章我们研究的问题。　　 在第二章中，我们研究完全耦合的含有次微分算子的正倒向随机微分方程的适定性。我们建立了与此类方程相关的Feymann-Kac公式，给出了一类新的含有两个次微分算子的拟线性偏微分方程的粘性解的概率表示，其中在此类新的偏微分方程中，次微分算子分别作用在定义域和值域上。本章主要来自于：　　 NIE，T.，A stochastic approach to a new type of parabolic variational inequalities。arXiv：1203.4840v2.已投稿。　　 在本文的第三章，我们的目的是研究含有次微分算子、分形布朗运动驱动下的倒向随机微分方程，这里分形布朗运动的的Hurst参数H>1/2。为此，本章的第一部分首先证明了分形倒向随机微分方程的适定性。我们主要依赖于[72]的思想，并给出更严格的分析。本章的第二部分，我们证明了含有次微分算子、分形布朗运动驱动下的倒向随机微分方程的解的存在性。本章来自于：　　 MATICIUC，L.，NIE，T.，Fractional Backward Stochastic Differential Equations andFractional Backward Variational Inequalities.arXiv：1102.3014v3.已投稿。　　 第四章中，我们考虑了分形布朗运动驱动下的随机微分方程的生存性问题，这里分形布朗运动的的Hurst参数依旧是H>1/2。我们通过研究分形随机切锥的正像和逆像，得到了使得分形随机微分方程的解停留在给定的集合K()Rd里的充要条件。另一方面，我们还建立了分形随机微分方程的比较定理。本章基于：　　 NIE，T.，RASCANU，A.，Deterministic characterization of viability for stochasticdifferential equation driven by fractional Brownian motion.已被ESAIM：Control，Optimisationand Calculus of Variations接收。doi：10.1051/cocv/2011188。　　 下面我们给出本论文的主要结论。　　 1正倒向随机变分不等式以及相应的偏变分不等式本节的结果来Nie[110]。　　 我们首先定义了上述偏微分方程的粘性解，然后证明了在σ不依赖于y的情况下粘性解的唯一性。至于粘性解的存在性，我们通过建立Feymann-Kac公式来给出其粘性解的随机表示。为此，我们研究了一类完全耦合的正倒向随机变分不等式。　　 受启发于[120]以及[156]，我们分别利用上、下抛射流以及光滑实验函数给出偏变分不等式(1)的粘性解的定义(见第二章定义2.1和定义2.3)。　　 若函数u既是偏变分不等式(1)的粘性上解又是粘性下解，则称它为(1)的粘性解。　　 需要指出的是，我们可以利用光滑实验函数给出偏变分不等式(1)的粘性解的另一等价定义(见第二章定义2.3)。　　 现在我们给出如下的关于(1)的粘性解的唯一性的结论：定理0.1.假设(H1)和(H2)成立，以及Domψ()Rn是局部紧的，函数b，σ，f以及g连续，b和f关于(x，y，z)一致Lipschitz连续，σ(t，x，y)不依赖于y且关于x一致Lipschitz连续。那么，偏变分不等式(1)在连续函数，并且满足关于x一致Lipschitz连续的函数集合里存在至多一个粘性解。　　 为证明此定理，只需要证明：若u是粘性下解，v是粘性上解，并且均满足定理中的连续性条件，那么u≤v。由于u，v均连续，我们只需要说明对于所有的(t，x)∈(0，T)×Int(Domψ)，有u≤v。为此，我们定义(Domψ)г：={x∈Domψ｜d(x，Bd(Domψ))≥r)，r>0，其中Bd(Domψ)表示Domψ边界，我们选择r0>0使得(Domψ)r0≠0。那么我们只需要证明对于每一个0