本文围绕低轨卫星通信系统的智能天线相关技术,开展可以用于在轨动态重构的稳健方向图综合算法和能够对主瓣和旁瓣特性进行稳定控制的自适应波束形成算法的研究,并构建智能天线测试环境,开展所提出的相关算法在19阵元三角栅格智能天线系统中的实测验证。首先,针对中大规模阵列任意形状方向图综合,现有的最小均方误差准则的交替投影（Least Mean Squares Alternating Projection,LMS＿AP）方向图综合算法,存在稳健性较差的问题。本文分析了其中的原因,发现阵列规模增大,特别是存在互耦情况下,流形矩阵的条件数急剧增大,对此将权重系数矢量模范数作为正则化函数引入LMS＿AP算法,将优化问题转换为基于对角线加载的LMS＿AP。本文详细推导了改进的对角加载稳健算法的优化公式,分析了算法稳定性提高的基本原理,给出了对角加载量选择的方法。该算法具备稳健的任意方向图综合能力,特别适合大规模阵列存在互耦情况下的在线计算。最后,针对LEO卫星通信增益“等通量”需求的实际场景开展算法稳定性仿真验证。接着,针对现有的主瓣保形自适应算法无旁瓣控制或者旁瓣控制的自适应算法无主瓣保形能力的问题,提出基于子空间线性约束最小方差（Linear Constraint Minimum Variance,LCMV）算法,该算法将子空间技术用于构建约束条件,在任意赋形主瓣区域保形和峰值旁瓣电平控制的前提下,实现了旁瓣区的自适应干扰抑制。本文给出了该算法的两种求解方法。其一,将问题转化为二阶锥规划问题,使用内点法求解。其二,将问题转化为二次不等式模约束下的LCMV优化问题,给出优化问题的闭式解。推导了解存在的条件以及算法在GSC框架下高效实现结构。最后,仿真验证了所提出算法的主瓣保形、旁瓣控制和自适应抗干扰性能以及当存在较强阵列互耦影响下算法的稳健性。最后,搭建19阵元三角栅格阵列智能天线测试系统,完成了测试系统上位机总控显示软件的设计,并在该系统上开展本文所提出相关算法的实测性能验证。