阵列信号处理在现代信号处理的许多应用中扮演着不可或缺的角色,从以天线阵列传感器为代表的电磁波信号处理到以声纳、麦克风传感器为代表的声波信号处理,均需要设计适当的阵列信号处理算法以满足不同的信号处理任务。而随着电子数字技术的发展,大规模、分布式的阵列信号处理技术以其增益高、空间多样等优点在越来越多的信号处理任务中得到广泛应用。随之而来的阵列信号处理算法面临计算复杂高、模型非线性程度强等难点。另一方面,现代优化理论的发展为解决阵列信号处理算法所面临的这些难点供了理论基石。本文围绕现代阵列处理领域的三个关键应用问题而展开,结合现代优化理论,聚焦于设计、分析用于解决各关键应用问题难点的最优化算法。本文的主要研究的内容包括:大规模阵列稳健波束形成技术、多传感器系统误差校正技术以及相控阵雷达子阵划分技术。对于大规模阵列稳健波束形成技术,现有的稳健波束形成技术其稳健性能一方面受限于应用场景,另一方面求解稳健波束形成器模型往往需要计算复杂度较高的优化算法,无法有效用于大规模阵列。因此,本文从造成波束形成性能损失的物理因素出发,出了一种新的稳健波束形成器,用于改善阵列导向矢量误差、信号样本误差、波达方向误差以及阵列自由度有限带来的波束形成性能损失。所出的波束形成器模型通过在目标和干扰信号周围多个方向施加不等式约束以增加对波达方向误差和信号样本误差的稳健性,通过惩罚不等式约束和波束形成权系数的`₂范数以平衡阵列自由度有限和导向矢量误差带来的性能损失。根据所出稳健波束形成器数学模型特征,取名为惩罚不等式约束最小方差波束形成器。为了高效地求解该波束形成器,尤其是针对大规模阵列的应用,本文基于交替方向乘子法设计一种低计算复杂度的优化算法以全局求解波束形成权系数。此外,所出惩罚不等式最小方差波束形成器还包含了一系列模型参数以面对实际中不同稳健波束应用需求。仿真实验验证了该波束形成器在天线自适应干扰抑制、麦克风阵列语音增强以及大规模阵列特殊方向图综合应用中的稳健性和对不同应用需求的适用性。多传感器系统误差校正是现代雷达传感器网络数据融合的必要前。过去几十年的研究工作中大多集中在同步假设条件下,无法有效应对实际中往往以异步方式工作的传感器网络。本文从基本的传感器量测模型出发,出了一种新的非线性最小二乘估计模型,用于从各传感器异步量测数据中估计系统误差。为了避免一阶近似传感器之间非线性坐标变换所带来的估计模型失配（现有研究工作所面临的研究难点）,本文首次将半正定松弛优化方法引入到方位角系统误差估计中,并在理论上证明了半正定松弛方法能全局求解方位角系统误差估计问题。基于对半正定松弛方法的理论分析,本文设计了有一种交替迭代的优化算法,用于求解所出的非线性最小二乘模型以估计各传感器系统误差。对比现有的五种传感器系统误差校正技术,本文所出的模型和算法不仅在噪声条件下有更高的估计精度同时在没有噪声时理论上保证了精确恢复各传感器系统误差。在相控阵子阵划分的研究中,本文分析了子阵级波束形成的基本阵列信号处理模型。基于该信号模型出了两类子阵划分优化准则,方向图逼近准则和自适应干扰抑制准则。两类准则分别用于子阵级方向图综合和子阵级自适应干扰抑制这两个基本的波束形成任务。两类优化准则所对应的优化模型均为混合0-1规划问题且有相同的数学模型结构,即联合优化子阵结构（0-1变量）和子阵级权系数（复数变量）,以在子阵级逼近期望的方向图或自适应地抑制干扰。因此针对大型相控阵所带来的大规模优化变量,本文基于坐标轮回下降算法设计了一种统一的低计算复杂度优化算法,用于求解两类准则对应的优化模型。仿真实验验证了所设计的优化算法在方向图逼近准则下能同时形成稳定的低旁瓣和差波束,在自适应干扰抑准则下能有效调整子阵结构从而抑制更多的干扰。