大规模MIMO技术可以提高频谱、能效和链路可靠性,这些优势使其成为5G最有前景的技术之一。精确的信道状态信息是保证通信系统性能的前提,因此准确的信道估计是十分必要的。大规模MIMO基站侧配置的大量天线会使导频开销激增,利用信道稀疏性可以有效节省导频开销。本文将分别利用信道在时延域的分组稀疏性和虚拟角度域的隐藏稀疏性进行不同的系统建模,以稀疏贝叶斯学习(SBL)为核心算法进行信道估计,主要研究内容如下:首先在大规模MIMO-OFDM系统多径信道下,提出了结合分组稀疏的块匹配稀疏贝叶斯学习的信道估计算法(G-BMSBL)。研究发现基站侧不同天线与同一用户之间的信道具有共享稀疏性。该算法正是利用多径分组增强空间共同稀疏性,进一步降低计算复杂度。鉴于实际场景中块结构的数目较大,常规算法不再适用,块匹配贝叶斯学习估计算法通过提出的块匹配算法对测量矩阵初步降维,且不破坏块结构,降维之后的信道系数作为隐藏变量,每组信道元素的稀疏性和组间相关性都由超参数关联,通过期望最大化(EM)求解超参数从而得到信道响应的期望值。G-BMSBL算法不仅能够提升估计精度,而且能够自动捕获信道稀疏信息。其次针对大规模MIMO系统上行链路角度域的信道估计问题,本文提出修正的角度失配结合SBL信道估计算法(AM-SBL),利用大规模MIMO在虚拟角度域的隐藏稀疏性,将虚拟角度域的采样网格和与真实到达角(DOAs)的偏差都看作可调参数,其中,角度偏差的线性拟合建模分别采用线性插值和一阶泰勒展开两种模型。通过SBL算法迭代更新多个参数,从而获得精确的支撑集信息。仿真表明,相比不考虑角度修正的SBL算法,AM-SBL算法能够更加准确地估计出信道状态信息。