随着移动通信的不断发展,各类新兴服务不断涌现。诸多新型业务的实现需求能与之相匹配的通信系统的吞吐量。大规模多输入多输出（Multiple-input Multiple-output,MIMO）可以极大提升无线系统的容量。这契合了第五代（5-th Generation,5G）乃至第六代（6-th Generation,6G）通信系统的要求。为了提升大规模MIMO系统的频效、能效等性能,信道状态信息的获取十分重要。因此,信道估计是大规模MIMO通信系统中的一个重要的研究方向。传统的信道估计方法需要的正交导频开销与基站天线数成正比,考虑到大规模MIMO系统的天线数,这会造成沉重的导频开销。本文根据信道的稀疏性建立模型,利用压缩感知方法从低维的观测向量中准确恢复高维的稀疏信道。同时,考虑不同的大规模MIMO场景,本文建立不同的稀疏信道模型并且创造性地提出基于贝叶斯学习框架的信道估计方法。针对采用透镜天线阵大规模MIMO系统,研究点一提出了基于贝叶斯学习框架的非均匀簇模型信道估计方案。解决的核心问题是对于大规模MIMO系统而言,每个天线单元配备一个专用的射频链在硬件和功耗上是不现实的;其次与已有的稀疏信道非零点之间独立相比,非均匀簇稀疏更能把握实际信道的稀疏特性。为了解决以上问题,本文采用透镜天线阵列的大规模MIMO系统;且利用混合高斯模型描述稀疏特性,相邻点之间设置耦合模型描述相关性,同时将稀疏特征反映到稀疏贝叶斯框架中。最后通过仿真实验,验证了算法的有效性。对于高速场景下的大规模MIMO系统的信道估计问题,研究点二提出了采用正交时频空间（Orthogonal Time Frequency Space,OTFS）调制的信道估计方案。解决的核心问题是高移动场景下,由于多普勒频偏引起的载波间干扰,正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）调制的性能指标将不再理想。由于时频调制面对多普勒频偏的局限性,本文采用OTFS调制技术。另外,本文抓住OTFS调制后信道多普勒特征和大规模MIMO的角域特征,采用了局部Beta过程（Local Beta Process,LBP）,以提供2维稀疏信号的固有结构描述。最终,建立高速场景下信道的多普勒-角域信道稀疏模型,从而针对多普勒场景,提出了相应的信道估计方案。仿真实验验证了该方案在高速场景下,可以有效实现大规模MIMO系统的信道估计。