近年来，随着移动互联网和物联网应用需求的持续发展，无线通信的速率需求和终端连接数需求呈现指数增长。大规模多输入多输出（Multi-Input Multi-Output, MIMO）技术因其能够显著提高系统的功率效率、频谱效率、速率容量以及用户终端容量，成为新一代无线通信的核心技术。本文针对大规模MIMO随机型接入场景，研究了大规模MIMO随机型接入系统中码本调度和多用户检测技术。
　　首先，针对信号检测/估计中最常见的线性模型的最优检测/估计问题，研究了多种消息传递算法，求解最优检测/估计问题中的边缘后验概率密度函数。从联合后验概率密度函数的因式分解出发，对后验联合概率密度函数的各个因式做高斯近似来推导期望传播算法。然后在期望传播算法的基础上，对计算复杂度高的部分避免其显式计算来降低算法复杂度，并对矩阵求逆部分进行近似计算来推导得到近似期望传播算法；此外，还在期望传播算法的基础上针对大规模MIMO系统，通过消除一些高阶项来对算法进行近似处理，推导得到近似消息传递算法。仿真结果显示期望传播（Expectation Propagation, EP）算法和采用不同初始化方法后的近似期望传播（Approximate Expectation Propagation, AEP）算法在收敛后具有相近的误比特率（Bit Error Ratio, BER），且采用最小均方误差（Minimum Mean Squared Error, MMSE）估计进行初始化的近似期望传播算法以较高的计算复杂度换取更快的收敛速度。
　　其次，研究了适用于大规模 MIMO 系统的稀疏码多址接入（Sparse Code Multiple Access, SCMA）的码本设计方法以及在接入用户数远超SCMA系统码字数时的码本的调度方法。在SCMA码本设计问题模型的基础上，分别研究了扩展矩阵与星座图的设计方案。随着接入用户数目的增加，SCMA系统中码字数将无法满足系统的需求，接收端的解码性能也将受到影响。因此，针对SCMA系统码本数小于系统用户数的情形，通过分析不同用户间波束域信道的相关性，来对系统中的用户进行分组与码本调度。仿真结果表明，当接入用户数小于系统码字数时，所提出的SCMA码本设计方案比传统的SCMA码本具有更优的性能；而当接入用户数远大于系统负载时，所提出的基于波束域信道的码本调度算法较传统的码本调度方案具有更优的性能。
　　最后，研究了信道估计存在误差情况下大规模MIMO非正交多址接入上行多用户检测方法，并在最小化Bethe自由能的理论框架下，提出了适用于码域非正交多址（Non-orthogonal Multiple Access, NOMA）的鲁棒近似消息传递（Robust Approximate Message Passing, RAMP）算法。对于给定的导频结构和信道估计方法，现有的信号检测方法直接将信道的估计值当做真实值作为信号检测算法的输入，然而信道估计结果往往存在一定的误差，这将极大地限制信号检测算法的性能，因此用信道估计的概率密度函数替代信道的估计值作为信号检测算法的输入会使信号检测结果更加准确。将码域非正交多址接入系统上行多用户信号检测问题转化为多级广义线性模型中的信号检测问题，并基于信道估计得到的信道状态信息（Channel State Information, CSI）的概率密度函数，在最小化Bethe自由能理论框架下，将存在信道估计误差的大规模MIMO非正交多址接入信号检测问题转化为有约束的最小化Bethe自由能问题。针对该优化问题，采用拉格朗日乘子法得到一系列驻点方程，并通过求解该驻点方程推导得出基于非正交多址接入的鲁棒近似消息传递算法。在此基础上，还研究了可用于迭代检测译码的NOMA-RAMP软输入软输出（Soft Input Soft Output, SISO）检测算法。仿真结果表明，所提出的鲁棒近似消息传递算法在不增加算法复杂度的前提下，相比于改进的广义近似消息传递（Generalized Approximate Message Passing, GAMP）信号检测算法性能更优，对信道估计误差的鲁棒性更好。