低轨卫星通信系统具有传输时延短,路径损耗低,用户终端易于小型化等优势,近年来逐渐成为国内外的研究热点。低轨道高度、低通信仰角等特点,使其更易受到来自地面通讯设施的各种干扰,对通信性能造成严重影响。阵列信号处理作为一种有效的空域信号处理手段,在低轨卫星通信系统得到广泛应用。波束形成与波达方向（Direction Of Arrival,DOA）估计是阵列信号处理的两个重要研究方向。波束形成通过对天线各阵元接收数据加权处理,实现期望信号的高增益接收,同时尽可能抑制干扰与噪声。DOA估计主要是对入射信号的到达角进行估计,为波束形成提供先验信息。二者的性能往往受限于天线阵元数目。但在低轨卫星平台等应用场景下,天线阵列的设计需满足轻量化、小型化的要求,难以通过扩大阵列规模来实现波束形成与DOA估计的性能提升。针对上述问题,本文围绕基于信号时域特性的自适应波束形成与DOA估计算法展开研究,以期在天线阵列规模受限的情况下,利用接收信号自身时域特性,进一步改善波束形成与DOA估计性能。结合低轨卫星通信应用背景,重点研究了基于信号非圆特性的宽线性稳健波束形成算法,以及CDMA体制下基于扩频序列相关特性的DOA估计方法。针对现有宽线性稳健波束形成算法在大误差情况下性能下降的问题,提出一种基于多不确定集约束的宽线性最差情况性能最优算法。将最差情况性能最优算法推广到宽线性波束形成模型,并使用多个小尺寸不确定集代替原约束中扩展导向矢量的单不确定集。该算法对应一个多约束的非凸优化问题,本文提出一种基于半正定松弛的迭代求解方法,对上述问题求取近似最优解。仿真结果证明,所提算法对于非圆系数估计误差、DOA估计误差以及阵列幅相误差均具有较高的稳健性,且在大误差情况下输出性能明显优于其他算法。针对CDMA系统中对解扩信号逐用户进行DOA估计时,常规DOA估计方法在用户数量较多的情况下计算量过大的问题,提出一种简化二维ESPRIT算法。根据扩频序列良好的自相关与互相关特性,对接收信号使用某一用户的扩频序列解扩后,其他用户信号可近似当作噪声进行处理,解扩信号可看作该用户信号与噪声合成的单源信号。基于这一特点,所提算法使用向量点除或最小二乘方法代替标准ESPRIT算法中较为复杂的矩阵特征分解操作,并结合空间映射和虚拟阵元填充方法将其推广到标准六边形阵列。仿真结果显示,所提简化ESPRIT算法与标准ESPRIT算法具有极为相近的测向性能,且计算复杂度大大降低。