随着无线通信技术的发展,人们在追求高数据传输速率和频谱效率的同时,也越来越重视系统的能量效率。传统MIMO技术采用在收发端同时利用多根天线来传输数据,极大提高了频谱效率,然而同时也伴随着硬件结构复杂、实现成本高等问题。空间调制(Spatial Modulation,SM)作为一项“绿色”、低复杂度的新兴MIMO传输技术,通过天线的不同激活状态来传输空间信息,在保证频谱效率的同时极大提高了系统的能量效率,并且实现简单、设计灵活,其诸多形式尤其是广义空间调制(Generalized Spatial Modulation,GSM)近年来受到了无线通信领域的广泛关注和研究。由于空间调制的传输结构特殊,其发送信号设计和接收端检测等诸多方面都与传统MIMO系统下的技术有很大不同。为了更好地改善这项新MIMO调制技术的系统性能以便在实际应用中推广,本论文结合空间调制系统的特殊结构和当前无线通信的需求,主要从低复杂度的信号检测和有效的预编码设计两个方面展开研究,并取得了一定的成果和结论:一、针对既有GSM-MIMO系统下的信号检测算法均存在复杂度过高的问题,本文提出了一种低复杂度、逼近理想最大似然性能的检测算法。利用广义空间调制信号特有的稀疏结构和稀疏度信息,我们基于贝叶斯压缩感知理论建立信号非零元的分布模型并求解激活位置权重,继而采用重定位策略对标记集进行预检测和自纠错,并在求解过程中控制和削减计算冗余。本文定量分析了各类检测算法的计算复杂度并仿真对比了各场景下的误码性能,从检测精度、复杂度、能耗等多方面验证了算法的有效性和实用性。二、针对既有SM-MIMO系统下的预编码设计在误码改善性能、算法复杂度等方面的不足,本文从理论上论证了现有基于最大自由距离(MMD)算法在求解过程中的计算冗余,并继而提出了一种低复杂度的有效预编码算法。通过重写目标式,该算法缩小了凸优化规模从而大幅降低运算复杂度,同时在误码性能上达到与现有MMD算法等效的改善效果。本文理论分析并仿真验证了上述结论。三、为弥补GSM-MIMO系统下预编码设计的应用局限性和性能不足,本文提出了一种适用于通用广义空间调制系统的满阵预编码算法。在满足系统传输结构的前提下,通过重构信道矩阵和信号向量表达形式,我们设计了满阵结构的预编码阵,并给出了空间调制类预编码设计准则的通式。该算法打破了传统对角设计的性能瓶颈和应用局限性,在通用GSM系统下显著提高了预编码的误码改善性能。本文详细分析了算法的设计特点和性能优势,并仿真验证了上述结论。最后,本文对上述研究工作做以总结,并提出了一些未来研究方向。