随着现代信息社会的不断发展,以及智能终端设备的普及,未来移动通信标准要求系统的传输速率在现有的基础上提高数千倍。大规模多输入多输出(Massive MIMO,Massive Multi-Input Multi-Output)技术能够进一步提升无线通信的频谱效率,成为第五代移动通信的研究重点。本文针对大规模MIMO上行链路接收复杂度较高的问题,深入研究了大规模MIMO系统中消息传递迭代接收技术。首先,针对信号处理中最常见的线性模型的最优检测/估计问题,从自由能最小准则出发,设计了基于因子图的消息传递算法求解最优检测/估计问题中的后验边缘概率密度函数。从计算边缘函数问题出发,推导了最小化自由能与计算边缘函数的等价关系,将求解边缘函数问题转化为自由能最小化问题,并结合因子图给出了自由能近似方法:平均场近似、区域近似和Bethe近似。然后,基于约束Bethe自由能最小得到了置信传播(BP,Belief Propagation)算法的收敛点,并简化BP算法得到了低复杂度的广义近似消息传递(GAMP,Generalized Approximate Message Passing)算法。基于近似 Bethe 自由能最小推导了 ADMM-GAMP(ADMM,Alternating Direction Method of Multipliers)算法。接着,分析了在任意测量矩阵下消息传递算法的收敛性,当发送信号的先验信息为凸函数时,Damping-GAMP算法和ADMM-GAMP算法可以保证收敛到固定点。仿真结果表明,当发送信号为高斯随机变量时,消息传递算法在高斯随机矩阵下可以获得与最小均方误差(MMSE,Minimum Mean Square Error)滤波一样的估计性能。另外GAMP算法的复杂度比MMSE滤波低,不需要矩阵求逆。其次,针对大规模MIMO上行链路接收复杂度较高的问题,从消息传递算法出发,设计了适用于大规模MIMO的消息传递接收机。从实际物理信道模型出发,研究了大规模MIMO信道的空间相关性,考虑到信道矩阵具备非零均值、低秩、列相关和病态特征中的一种或多种特征,采用Damping-GAMP算法和ADMM-GAMP算法作为大规模MIMO接收机的检测算法。同时,为了使消息传递检测算法更快更准确地收敛,我们提出采用奇异值分解(SVD,Singular Value Decomposition)进行接收端预处理(消除了矩阵的列相关和病态特征)。接着,提出了基于软输入软输出(SISO,Soft-Input Soft-Output)消息传递检测的迭代接收方法。仿真结果表明,接收端预处理之后,Damping-GAMP和ADMM-GAMP检测算法的误符号率性能都要优于MMSE检测器。最后,针对消息传递检测算法存在检测误差的问题,从收发联合优化的角度出发,提出了能量扩展变换(EST,Energy Spread Transform)大规模MIMO传输及消息传递接收方法。当发送信号为QAM调制符号时,消息传递检测算法在任意信道矩阵下不一定收敛,同时推导过程中高斯近似条件得不到满足。针对这些问题,提出了基于EST的传输方案,包括基于EST的发射机设计和接收机设计,并提出了两种检测方法:联合检测和逐频点逐用户检测,及给出了相应的复杂度分析。仿真结果表明,当发送信号为QAM调制符号时,基于EST的消息传递检测算法的误符号率性能要优于传统系统中的消息传递检测算法,同时逐频点逐用户检测EST-GAMP算法在大大降低复杂度的同时可以获得接近联合检测的性能。