MIMO雷达是一种具有广阔发展潜力的新体制雷达,这种新体制雷达可以对各阵元的发射波形进行灵活设计,具有传统相控阵雷达不具备的优化潜力。波形设计是实现MIMO雷达系统体制优势的关键技术,而恒模约束下的波形设计模型通常是NP难的非凸高维问题,近年来引起广泛关注的一类新颖的流形优化算法可以高效的解决这类问题。本文基于波形设计问题的重要性和流形优化的优势开展研究,在抑制方向已知的信号相关干扰问题上,进行了一些方法创新,主要工作如下:1.基于SINR最大化准则,通过波形协方差矩阵设计MIMO雷达发射波形。基于在干扰方向设置射频零点的思路,将场景建模为类似波形匹配的问题,再对问题进行分解重构后得到一个解析解。通过该封闭式方法可以取得优于对比方法的方向图性能和SINR性能,且所提算法的计算复杂度较低。2.基于SINR最大化准则直接求解MIMO雷达发射波形。针对传统方法处理该问题的难点,本文引入一种新颖的优化算法框架:黎曼流形优化框架,通过该框架下的一种二阶黎曼拟牛顿算法,将原本NP难的非凸高维问题转化为约束空间下的无约束优化问题,从而通过该算法对问题实现高效求解。仿真实验验证了所提算法良好的收敛性,且所提算法得到的解严格恒模,SINR性能优于对比方法。3.基于SINR最大化准则的MIMO雷达收发联合设计。在将该问题建模为发射波形和接收滤波器权向量双变量联合优化问题后,进行交替优化求解,接收权可以通过MVDR方法求解,而对发射波形的求解也具有与一步法问题中类似的难题,是NP难的非凸高维问题,亦可以通过二阶黎曼拟牛顿算法实现高效求解。仿真实验证明,所提算法优化时间更短或具有更好的SINR表现。