随着5G通信的不断发展,非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术因其可通过时频资源的非正交分配服务更多用户,正受到越来越多研究者们的关注。与此同时,5G的另一项技术——大规模多输入多输出（Multiple Input Multiple Output,MIMO）因其本身具备成倍提升系统容量、改善覆盖范围的优点,也已得到广泛的关注和研究。面对未来海量用户接入的挑战,将NOMA与大规模MIMO进行结合研究具有深远的意义。而NOMA的意义在于能够检测到更多的用户信号,扩大用户服务范围。因此,NOMA中信号检测研究显得尤为重要。目前已有的NOMA信号检测研究中,多数基于串行干扰消除（Successive Interference Canceller,SIC）。SIC虽结构简单、计算复杂度低,但因自身结构特点,易引起误差传播,精确度也不是很高。因此,本论文基于量子菌群觅食优化（Quantum Bacterial Foraging Optimization,QBFO）算法研究信号检测。QBFO算法是本课题组研究提出的一种量子智能优化算法,已被证实与其他群智能算法相比,QBFO算法具有收敛速度更快、寻优解更精确的特点。本文利用QBFO算法解决NOMA系统的信号检测问题,具体研究工作如下:第一,本文针对大规模MIMO NOMA上行免调度系统,提出一种基于数据融合策略的量子菌群觅食优化算法检测方案。在实际场景中,活跃用户远小于所有潜在用户,所以整体用户的活动状态存在稀疏性。所提检测方案包括三步:首先将稀疏用户检测问题建模为L₁-L₂范数的组合优化问题,创新性地使用QBFO算法求解目标函数,得到每根天线上的活跃用户集;其次基于数据融合策略得到基站端多天线的最终活跃用户集;最后利用最终的活跃用户集,再使用QBFO算法进行用户信号的检测。仿真结果可以证明,所提的检测方案同时具备可行性和有效性。对比于单天线系统,所提的大规模MIMO NOMA基于数据融合的QBFO检测方案能够提高检测性能;且在使用相同融合策略下,QBFO算法的检测性能更优;当系统内活跃用户数增加时,QBFO算法也能获得不错的性能。第二,针对毫米波大规模MIMO NOMA系统的下行链路信号检测问题,利用毫米波信道的稀疏性,设计功率域波束非正交多址传输方案,以此做基础,提出了一种分步式检测方案。在毫米波大规模MIMO和NOMA相结合的系统中,经过用户分簇和模拟预编码设计消除簇间干扰后,针对基站端天线数、簇内用户数都较大情况,本文将簇内用户再分组,设计数字预编码向量,进行分步检测。该检测方案具体为:首先对于每簇的接收信号消除自身信道的影响,得到簇内每组叠加信号的估计。然后对叠加信号,再使用QBFO算法进行检测。仿真结果可以证明,所提的分步检测方案具有较好的性能。