大规模MIMO技术作为第五代移动通信系统的关键使能技术之一,在基站所配置的天线数量相较于传统的MIMO系统增加数十甚至上百倍,使通信系统在频谱效率、数据传输速率及可靠性方面均取得重大突破。然而,随着基站和天线数和用户数的大量增加,在信号检测方面也面临众多挑战,本文专注于大规模MIMO系统中高性能、低复杂度的信号检测算法研究。首先,本文研究了基于MMSE准则的大规模MIMO系统低复杂度算法,并将其分为两类,即基于矩阵近似求逆类和求解线性方程类。在第一类中主要包括纽曼级数展开和Newton迭代算法;在第二类中主要包括Jacobi迭代、高斯迭代、松弛迭代、连续超松弛迭代、理查德森迭代、最速下降法和共轭梯度算法。以上算法避免了MMSE算法所涉及的高维矩阵求逆运算,有效地降低了复杂度。在研究分析了各种算法的原理、复杂度以及相互之间所存在关系后,给出了各算法在软输出检测中实现方案,并在相同类型算法中对比了各算法的复杂度和检测性能。针对两大类算法各自存在的优势与不足,结合Neumann级数展开和Jacobi迭代提出了一种软输出检测方案,在复杂度和性能之间实现了较好的折中。另外,利用Kaczmarz算法求解线性方程的思想并对其进行改进,提出改进了一种基于MMSE准则的低复杂度检测算法,同样避免了矩阵求逆。其次,为了解决现有的低复杂度MMSE检测算法在用户数量增多的场景下检测性能下降的问题,针对硬判决MIMO系统,提出了一种迭代并行干扰消除算法,利用并行干扰消除的思想,并采用迭代的方式提升估计精确度;在此基础上,引入了排序和噪声预测机制,通过对噪声和干扰进行联合消除进一步提升检测性能;另外,考虑天线间残留干扰和噪声的共同影响,提出将迭代并行干扰消除算法应用到软输出检测系统中。以上算法应用于大规模MIMO系统中以远低于MMSE检测算法的复杂度达到甚至超越后者的检测性能。为了将传统的软输入软输出检测算法扩展应用到大规模MIMO系统中,针对MMSE-PIC算法提出了一种低复杂度方案,将矩阵近似求逆算法运用到权值向量计算中,在保证性能的同时有效地降低了复杂度。经理论分析和仿真结果表明:基于Jacobi迭代的改进算法和基于Kaczmarz迭代算法适用于基站天线数远大于用户数的大规模MIMO场景,经过较少次数的迭代检测性能便可逼近最优MMSE。当用户数量增多时,现有的低复杂度MMSE算法性能下降严重,基于迭代并行消除的检测方案可作为有效备选方案。在以性能为最高优先级的核心目标时,本文提出的低复杂度软输入软输出算法可作为有效解决方案之一。