基坑支护设计的土钉墙内部稳定性分析通常采用瑞典条分法计算安全系数。然而该法忽略了土条之间的作用力,因此计算的精度不足。另一方面,岩土体具有较强的变异性,于是土钉墙临界滑动面搜索可以转化为数学上的最优化问题,相应的目标函数一般为隐函数且具有非凸、多极值的特点,采用传统的优化理论很难准确确定土钉墙的临界滑动面。为解决上述难题,本文首先基于极限平衡原理,引入土钉作用力,建立了土钉墙圆弧滑面安全系数的计算方法；然后将禁忌搜索算法(TSA)和简单遗传算法(SGA)有机地结合在一起,提出一种新型混合优化算法——禁忌遗传算法(TSGA);最后利用禁忌遗传算法法搜索土钉墙的临界滑动面,主要研究成果如下：(1)基于极限平衡理论,引入土钉的加固效应,改进了圆弧滑面的安全系数计算方法——改进简化Bishop法。(2)结合SGA和TSA的优点,建立了TSGA。仿真分析表明：TSGA的全局搜索性能优于单一的SGA和TSA。(3)目标函数采用最小安全系数,基于TSGA,改进了土钉墙内部稳定性全局优化的计算方法,并探讨了土钉入射角和地震对土钉墙稳定性的影响。