随着系统复杂程度的增加，系统失效率估计的难度也随之增大，这使得系统之间设计目标的权衡与协调的难度随之增加。通过多目标优化设计方法对系统进行设计是解决上述问题的有效方法之一。本文对复杂系统失效率估计方法、非约束多目标优化以及约束多目标优化设计方法开展了研究。在计算由并联或串联系统组成的复杂系统失效率时，基于其组成子系统或其运行时间的方法通常存在较大误差，有必要建立与复杂系统等效并能精确估计其失效率的方法。本文提出了一种将复杂系统减化成最小割集进而估计复杂系统失效率的方法，对由不同部件组成的串-并联系统和混合系统、相同部件组成的网络系统三种复杂系统失效率进行了估计，并与复杂系统简化方法估计的系统失效率进行对比。结果显示，本文提出的方法能够精确有效的估计复杂系统的失效率。系统复杂性的增加通常会导致多个目标相互冲突。通过对复杂系统多目标优化方法的研究，基于遗传算法和启发式搜索原则提出了GPSIA算法产生非支配最优解，并通过含有冗余的串-并联系统对GPSIA算法进行了验证，其中系统可靠性和费用作为优化目标，系统的重量作为约束，优化结果为均匀分布的非支配解，并用连续Pareto点的距离评价了算法的效果。通过与NSGA-II和SPEA-2算法的对比分析，对GPSIA算法的鲁棒性做了讨论。在实际问题的分析中，约束是广泛存在的。在基于GPSIA算法的优化策略中考虑了满足所有约束的可行解。非可行解会加快Pareto解的收敛速度。本部分在GPSIA方法的基础上，提出了GPSIA+DS算法，该算法在优化策略中同时考虑了可行解和非可行解。通过与GPSIA和NSGA-II算法在复杂系统优化中的对比分析，表明了GPSIA+DS算法的有效性。采用GSPIA+DS算法对某型飞机起落架位置指示和作动系统进行了多目标化，验证了该算法在可靠性工程中应用的有效性。