作为第五代移动通信(5th Generation Mobile Communication,5G)的关键技术,毫米波和大规模多输入多输出系统(Multiple-Input and Multiple-Output,MIMO)相辅相成,相得益彰。大规模MIMO的高阵列增益可以补偿毫米波段的强路损;而毫米波段的毫米级波长可以使大规模MIMO阵列在有限的布阵空间中容纳成百上千的天线阵子。考虑到射频(Radio Frequency,RF)组件的高功耗、成本以及毫米波阵面的有限空间,毫米波大规模MIMO阵列的全数字实现,即每个天线均配备RF组件,对于多数商业应用来说不实际。为了解决毫米波大规模MIMO的实现挑战,大规模数模混合阵列应运而生,已成为毫米波大规模MIMO的主要实现方式。其中,大规模部分连接型移相器混合阵列(其子阵模拟波束形成通过移相器实现)和Butler矩阵混合阵列(以Butler矩阵为子阵)由于硬件复杂度低、重构能力强以及抗故障能力强等优势脱颖而出,得到广泛关注和研究。精确波达角(Angle-of-Arrival,AoA)估计是大规模混合阵列的应用优势在实际中得以发挥的重要前提。然而,现有方法或复杂度高,或需要迭代导致误差传递且信令开销重,或存在模糊性。本文在此背景下研究了毫米波大规模混合阵列的AoA估计,致力于提出低复杂度、非迭代、无模糊且精确的AoA估计算法。为了实现该目的,本文的主要工作及创新包括:本文针对窄带大规模移相器混合阵列,提出了AoA估计的非迭代、低复杂度方法。该方法首先估计子阵间的传播相位差,然后补偿相位差提取AoA。为了实现该方法,设计了用于无模糊AoA估计的模拟波束形成方案,消除了现有方法对混合阵列的参数限制;发现并证明了任意码元时刻,相邻子阵的阵列响应之间的互相关具有特定的符号变化规律,且该符号变化规律在跨越多个码元之间具有固定的变化模式;利用新发现的规律和模式,提出了子阵间传播相位差的无模糊估计算法,得以联合所有子阵和码元实现有用信号成分的相干积累,大幅提升了估计信噪比;证明了在任意码元时刻,AoA与一组特定子阵的阵列响应之间具有一一映射关系,且该关系可进一步推广应用至所有子阵;推导了子阵传播相位差估计和AoA估计的均方误差下界的闭式解。大量仿真实验验证了新方法的优越性,相比于现有方法,新方法给AoA估计带来的精度改善最高可达86%。本文针对宽带大规模移相器混合阵列,提出了宽带AoA估计的精确、低复杂度方法。该方法采用以上窄带情况下的模拟波束形成方案和AoA估计思路,同样先估计子阵间传播相位差,然后补偿相位差提取AoA。为了实现该方法,提出在任意码元时刻,从相邻子阵互相关在子载波维的第二次互相关中提取子阵传播相位差以充分利用子载波信息;推导得到了上述第二次互相关求取时的最优子载波间隔,从而解决了现有方法忽视的子载波维积累增益和误差放大倍数之间的矛盾,且实现了该估计框架下子阵传播相位差估计误差的最小化;证明了窄带情况下发现的子阵互相关符号变化的规律和模式可适用于宽带情况下任意码元时刻的任意子载波,还证明了窄带情况下用于AoA估计的一一映射关系也同样适用于任意子载波;证明了AoA估计之前可沿子载波维直接积累有用信号,该积累不改变上述映射关系,且可带来近似于相干积累的信号强度改善;推导了宽带AoA估计的均方误差下界的闭式解。大量仿真实验验证了新方法的优越性,相比于现有方法,新方法给宽带AoA估计带来的精度提升最高可达90%。本文针对大规模Butler矩阵混合阵列,提出了一种AoA估计的快速、低复杂度方法。该方法首先估计Butler矩阵之间的传播相位差,然后补偿相位差提取AoA。提出了一种基于Butler矩阵的宽波束综合新方法,该方法在模拟域基于1比特移相器通过波束选择高效实现,得到的宽波束主瓣平坦,主副比高,且波束指向和宽度均灵活可调;基于新波束综合方法,设计实现了AoA角度区间的快速搜索,进而在所有Butler矩阵上选择相同的波束,充分利用波束形成增益实现了Butler矩阵间传播相位差的精确估计;利用上述搜索的中间结果选取一组Butler波束,推导了AoA估计的闭式解,设计了AoA估计的低复杂度算法;通过分析AoA估计的抗噪声性,证明了上述选取的Butler波束能够主导AoA的估计性能;且随着Butler矩阵维度的增加,其它Butler波束对AoA估计性能的影响渐进趋于零;推导了Butler矩阵间的传播相位差估计和AoA估计的均方误差下界的闭式解。大量仿真实验验证了本文方法的优越性,将AoA估计转化成系统可达速率,新方法相比于现有方法带来的速率提升最高可达70%。本文针对大规模Butler矩阵混合阵列,提出了另一种AoA的精确估计方法,主要借助Butler波束的幅度信息实现AoA估计。通过分析Butler波束的幅相特征,提出了差分波束的概念(通过相邻Butler波束的差分构造),且证明了本文构造的差分波束比原Butler波束具有更高的接收信噪比和检测概率;证明了接收功率最强的一对差分波束可以用来实现AoA的精确估计,并推导了从最强差分波束对中求解AoA估计的闭式解;利用本文提出的Butler矩阵中宽波束综合的新方法设计了最强差分波束对的快速搜索算法,具有对数搜索时间复杂度;推导了AoA估计的理论均方误差的闭式解。大量仿真实验表明:相比于现有方法,差分波束的检测概率最高提升可达50%;AoA估计精度最高改善可达90%;将AoA估计转化成时间平均波束形成增益,最优改善可达64%。