无线通信的发展趋势是更高的频谱利用率和更高数据速率的宽带传输。多入多出（Multi-Input Multi-output, MIMO）技术因其能有效提高系统容量和频谱利用率成为第四代无线通信关键传输技术。近年来，一种基于天线选择原理的新型MIMO技术空间调制（Spatial Modulation, SM）技术，因其可以很好解决传统MIMO技术所遇到的天线同步，信道间干扰，及天线配置等问题而成为目前MIMO技术中的研究热点。本文研究了SM-MIMO在宽带无线通信系统中的传输问题，将之与正交频分复用技术（Orthogonal Frequency Division Multiplexing, OFDM）和单载波频域均衡（Single Carrier Frequency Domain Equalization, SC-FDE）技术有效结合，提出增强型的传输技术，分别从实现复杂度，传输性能，频谱利用率等角度对系统进行了优化。具体研究内容主要包括：SM-OFDM中非相干检测算法；低复杂度SM-SC-FDE近最大似然检测算法和单射频链路时域检测算法；通过缩减SM-OFDM和SM-SC-FDE系统循环前缀来提高SM-MIMO系统频谱利用率的检测算法。并通过计算机仿真验证了以上检测算法性能。第一章介绍了传统MIMO系统的发展现状和数学模型，对目前MIMO系统面临的各种传输问题进行总结；给出空间调制的数学模型，介绍了空间调制作为一种增强型MIMO技术的优势；最后简要介绍了本文针对SM-MIMO系统提出的增强型关键传输技术。第二章研究了SM-OFDM非相干检测算法。首先，介绍OFDM系统中的非相干检测算法。结合空间调制系统天线索引值携带信息的特殊性，提出一种基于单天线差分调制设计的差分SM-OFDM方案，该方案对信道频域系数有一定要求，不利于扩展。之后，提出一种改进的基于单天线差分调制设计的差分SM-OFDM方案，该方案在发射端对每根天线上的参考符号进行了特殊处理，有利于接收机差分检测，该方案可以扩展到任意天线。第三章研究了SM-SC-FDE低复杂度检测算法。针对SM-SC-FDE系统，提出一种复杂度更低的近最大似然检测算法，该算法可以有效降低检测复杂度，并且不影响系统误码率性能；另外，空间调制单载波系统在接收端只有一根天线配置的情况下，发射端和接收端都只采用一个射频单元，大大降低硬件实施成本。本章基于该系统，提出一种类似近最大似然的时域均衡检测算法。第四章研究了高频谱效率SM-OFDM和SM-SC-FDE检测算法，本章主要是通过缩减SM-OFDM和SM-SC-FDE系统中的循环前缀，来提高系统频谱利用率。针对这种缩减循环前缀后的系统通过干扰构造的思想提出对应的检测算法。仿真验证该算法不影响系统BER性能，但是有效的提高了系统的频谱利用率。第五章对全文进行总结，并讨论空间调制系统和其他新型MIMO系统未来可能需要研究的技术。