边界层流动转捩预测与控制一直是流体力学中的热点问题，而三维边界层与二维边界层转捩机制完全不同。本文从流动失稳的角度研究了三维边界层流动的二次失稳以及转捩控制相关问题；同时对于二维边界层流动bypass转捩，发展了一种完全适用于现代CFD软件的四方程湍流转捩模式。横流失稳是三维边界层流动层流转捩的主要因素。三维边界层横流失稳产生饱和横流涡，被饱和横流涡强烈扭曲的三维边界层背景流动对高频的扰动非常敏感，而这也是三维边界层流动转捩发生的先兆。本文首先采用非线性抛物化扰动方程，求解了不可压后掠机翼流动横流非线性失稳；然后采用Floquet理论研究了机翼表面曲率、弦长雷诺数和后掠角对饱和定常横流涡二次失稳的影响。计算结果表明机翼表面曲率对三维边界层横流失稳起着稳定作用，而对横流涡二次失稳影响不大。但是弦长雷诺数增加，则会激发二次失稳‘y’模态而抑制‘z’模态。当机翼后掠角由35o、45o增加到55o时，三维边界层流动转捩提前：当后掠角依次增加时，横流涡涡间间距会减小并且同时激发二次失稳‘y’模态和‘z’模态。其次，本文采用非线性抛物化扰动方程求解了亚音速后掠圆柱边界层横流非线性失稳，利用Floquet理论分析了壁面定常吹、吸气对其二次失稳的影响。计算结果表明壁面定常吸气使得三维边界层横流速度减小，并且流向速度剖面更加饱和，因此可以有效地抑制横流失稳和二次失稳，而壁面定常吹气的效果与此相反。在中、高来流湍流度条件下，二维边界层逾越自然转捩而发生bypass转捩。bypass转捩预测在工程有着重要的运用，比如叶轮机械、后掠机翼增升装置和高超声速飞行器进气道等。本文基于二方程SST湍流模式，针对二维边界层bypass转捩建立了一个新的四方程湍流转捩模式。其中一方程为非湍流扰动粘性系数输运方程，描述了转捩前非湍流扰动的发展；而另一方程为间歇因子输运方程，捕捉转捩发生过程。通过与T3AM、T3A和T3B经典平板转捩实验结果对比，表明该模式可以非常好的反应低、中和高来流湍流度对转捩的影响。同时本文模式完全基于当地变量构造，因此可以方便的运用于现代CFD软件。