为了适应持续呈指数增长的无线通信业务需求,未来移动通信系统需要在现有通信技术上有新的突破。在基站侧配备大规模天线阵列的大规模多输入多输出(MIMO,Multiple-Input Multiple-Output)技术能够显著提高系统的功率效率和频谱效率,成为未来移动通信的核心技术。信道状态信息(CSI,Channel State Information)的获取是大规模MIMO无线传输的基础,传统的信道估计方法一般采用正交导频获取CSI,相应的导频开销会随着天线数目线性增长,巨大的导频开销将限制大规模MIMO的性能提升。鉴于此,本论文将针对低导频开销的大规模MIMO信道估计方法展开研究,并在此基础上,对信道估计存在误差情形下的低复杂度信号检测算法展开研究。首先,本论文研究了大规模MIMO系统中传统的下行信道估计方法,包括最小二乘(LS,Least Square)、线性最小均方误差(LMMSE,Linear Minimum Mean-Square-Error)和松弛最小均方误差(RMMSE,RelaxedMinimum Mean-Square-Error)方法,分析了相应方法下的最优导频条件,并仿真说明基站天线数目对各种方法的误差性能影响。另一方面,基于信道估计结果,研究了在信道估计存在误差情形下的两种信号检测方法,包括鲁棒MMSE和考虑信道估计误差的广义近似消息传递(GAMP,Generalized Approximate Message Passing)信号检测算法。两种算法分别在MMSE和GAMP信号检测算法的基础上,通过将信道估计误差视为噪声的一部分进行分析推导得到。数值仿真结果表明,两种信号检测算法在信道估计存在误差情形下的信号检测性能分别优于MMSE和GAMP信号检测算法。其次,针对大规模MIMO系统下行信道估计,提出了基于压缩感知(CS,Compressed Sensing)的大规模MIMO信道估计方法。从实际物理信道模型出发,讨论了大规模MIMO信道在角度域的近似块稀疏特点。基于此特点,采用多频带调制离散扁长椭球序列(DPSS,Discrete Prolate Spheroidal Sequences)构成的矩阵Ψ获取信道的稀疏表达式。在此稀疏表达式的基础上,给出了满足Ψ约束性等距条件(Ψ-RIP,Ψ RestrictedIsometry Property)的确定性导频设计。为了进一步减少导频开销,提出基于块稀疏的稀疏恢复算法,即修正的块稀疏压缩采样匹配追踪(M-BBCoSaMP,Modified Block-Based Compressive Sampling Matching Pursuit)用来估计信道。数值仿真结果表明,所提出的信道估计方法与传统方法相比能够在减小导频开销的同时提升信道估计性能。最后,针对大规模MIMO系统信道估计存在误差情形下的信号检测,提出了基于最小化自由能的鲁棒近似消息传递(RAMP,Robust Approximate Message Passing)信号检测方法。对于给定的导频结构和信道估计方法,传统信号检测方法直接将信道估计值视为真实值,然而信道估计结果一般存在误差,采用概率密度函数表示信道估计结果将会更加准确。基于信道估计获取的CSI概率密度函数,存在信道估计误差的大规模MIMO信号检测问题可以转化为有约束最小化Bethe自由能问题。针对这一优化问题,采用拉格朗日乘子法得到一系列确定最小化Bethe自由能驻点的等式方程。基于该驻点方程的求解,提出了大规模MIMO系统中的迭代信号检测算法。数值仿真结果表明,所提出的鲁棒信号检测算法不仅复杂度低,而且在信道估计存在误差时较一般信号检测算法具有更优的检测性能。