近年来，分布式多输入多输出(MIMO)雷达受到越来越多关注，该雷达系统具有空间充分分离的多收发阵元结构，利用目标散射截面积(RCS)的空间分集增益来提高系统性能。本文主要研究复合高斯杂波背景下分布式MIMO雷达的自适应检测问题，以及进一步提高其检测性能的优化设计。首先，建立了分布式MIMO雷达系统的信号模型；提出了高斯杂波背景下分布式MIMO雷达的两种恒虚警(CFAR)检测器，推导了虚警概率的解析表达式，理论验证了其CFAR特性；数值仿真证明了该检测器性能的优越性。然后，在纹理分量符合逆伽马分布的复合高斯杂波背景下，建立了广义多变量方差分析框架的测量和统计模型，利用扩展参数期望最大化(PX-EM)算法估计了未知的信号和杂波参数，并使用该估计值推导了分布式MIMO雷达的检验统计量，根据检验统计量的统计特性设计了基于检测性能最大化的自适应能量分配优化算法；仿真分析证明了MIMO雷达检测器的优越性以及优化算法的有效性。最后，引入极化分集，建立了复合高斯杂波背景下极化分布式MIMO雷达的信号模型，提出了基于最大后验概率估计和两步法广义似然比检验的极化自适应检测器(MAP-GLRT)，理论验证了其CFAR特性；结合博弈论的相关理论知识将MIMO雷达最优极化设计问题建模为敌方与雷达设计工程师之间的二人零和博弈问题，针对存在最优纯策略和最优混合策略两种情况求解了最优发射极化，该方法与传统方法相比，不需要利用辅助数据进行估计，大大降低了算法复杂度，提高了可实现性；通过数值仿真分析了MAP-GLRT检测器的影响因素和性能优势，证明了基于博弈论的最优极化设计算法的有效性。