本文以可压缩边界层为研究对象，给出了可以考虑边界层非平行性的流动稳定性的分析方法，即EPSE方法；给出了流动稳定性方程空间模式的模态分解法。以高超声速边界层为研究对象，并采用直接数值模拟的方法研究了快、慢模态的同步点及分叉点，揭示了同步点附近快、慢模态的模态转化特征；发现了快、慢声波在边界层的非平行及非线性作用下产生的局部感受性机理。通过研究得到以下结果：　　1.提出了可以考虑非平行性的稳定性分析方法，即抛物化稳定性方程（PSE）的展开方法（EPSE方法）。该方法应用泰勒级数，将抛物化稳定性方程（PSE）沿流向展开，得到了一阶展开解方程，即EPSE方程。EPSE方程与齐次边界条件一起构成了特征值问题。与线性稳定性方程相比，EPSE方程考虑了流动的非平行性对稳定性的影响。在边界层前缘附近，非平行性较强，流动稳定性预测的幅值曲线与直接数值模拟的结果偏离的比较大，而EPSE方法预测的结果与直接数值模拟的结果吻合的比较好。在远离前缘处，非平行性的影响可以忽略不计，两种方法预测的幅值曲线与DNS的结果都很吻合。　　2.针对可压缩流动稳定性的空间模式，建立了在不扩展方程阶数的情况下的模态分解方法。模态分解在做内积运算时，需要对被分解扰动作用一个核算子，该算子对于流动稳定性分析中的时间模式和空间模式是不同的，时间模式是线性特征值问题，核算子的形式比较简单。空间模式是一个二阶多项式形式的非线性特征值问题，利用特征函数族的正交关系，给出了简洁形式的核算子，并将该方法推广到 N阶多项式的特征值问题中。利用数值模拟对模态分解法进行了验证，证明了该方法的有效性。　　3.研究了快模态和慢模态的同步点、分叉点，及同步点附近的模态转换问题。快、慢模态在向下游发展过程中，它们的相速度会近似相等或相等，快、慢模态的相速度最接近的位置称为“同步点”。在一些参数下相速度始终不等，在有些参数下相速度可以相等，它们的相速度不等与相等的分界点称为“分叉点”。对于空间模式，分叉点与马赫数和频率有关。在同步点附近，快、慢模态将发生模态转化，数值模拟的结果表明快、慢模态向下游演化的过程中，经过同步点后都将激发出第二模态，这可用模态在非平行流中传播的特征解释模态转换的机理。研究还发现可以用PSE方法或EPSE方法预测扰动的模态转换过程。　　4.在超声速边界层中，揭示了自由流中快、慢声波通过非线性作用在第二模态中性曲线下支界附近激发第二模态波的感受性机理。当快、慢声波通过非线性作用产生的和频扰动的色散关系与下支界第二模态波的色散关系相匹配时，和频扰动在中性曲线下支界附近能激发第二模态波。这种感受性是在快、慢声波的非线性作用下并通过边界层的非平行性产生的。结果表明，感受性系数对和频扰动与下支界处第二模态波的波数差很敏感。波数差为零时感受性系数最大，随波数差的增加感受性系数变小。研究还发现，非线性作用产生的和频扰动，其初始演化过程为线性增长，线性增长率与增长的流向范围与和频扰动与入口处特征模态的波数差有关。当此波数差为零时，线性增长率最大，流向的增长范围最长。随波数差的增加，线性增长率和流向的增长范围都减小。这反应了非线性作用产生的和频强迫项激发相应扰动的初始过程与它们之间的共振特征有关。