空间调制(Spatial Modulation, SM)技术是一种新兴的多天线传输技术,简化了传统MIMO系统结构,降低了系统实现成本,提高了通信系统的灵活性和能耗效率,作为未来5G通信的一个关键技术,在室内可见光通信和大规模MIMO通信中具有良好的应用前景,是当前无线通信研究的热点课题。空间调制技术也是一种全新的混合调制方式,它把信号星座扩展到空间信号星座,使系统设计更灵活,但同时带来了一些新的挑战。对此本文较为深入地研究了空间调制系统发送端的天线选择问题、接收端的信号检测问题和多用户干扰抑制问题,主要工作包括：首先,较为深入地研究了已有的空间调制系统的检测算法,从二维矢量量化角度深入分析了已有的QAM调制信号的低复杂度最优算法,利用PSK数字调制符号的固有性质给出了与调制符号阶数无关的低复杂度最优检测算法,扩展和完善了已有空间调制低复杂度最优检测算法。然后,分析比较了该低复杂度最优检测算法和现有检测算法的优缺点,从理论和仿真两方面证明了该算法的最优性和低计算复杂度特性。其次,针对SM系统天线选择技术实现算法复杂度高且有性能损失的问题,本文提出了两种基于最大化-最小欧氏距离天线选择(Euclidean Distance Antenna Selection, EDAS)准则的低复杂度且BER性能最优的天线选择算法,EAQ-EDAS (Equal Amplitude and Quantization based EDAS)算法和RS-EDAS (Rotational Symmetry based EDAS)算法。EAQ-EDAS算法是针对MPSK调制的SM系统提出的,该算法利用了MPSK调制符号的等幅度特性,并采用二维量化原理,实现了复杂度与调制阶数无关的天线选择方法,同时保持了联合搜索的EDAS算法的BER最优性。RS-EDAS算法则是利用了调制符号的旋转对称性,降低了符号搜索空间的大小,进而降低算法的计算复杂度。最后,本文从不同角度证明了算法的低计算复杂度和BER性能最优特性,并与现有的最优天线选择算法比较,验证了提出的两种算法具有极低的计算复杂度,同时与现有的次优天线选择算法比较,表明了本文提出的算法在BER性能上的优势,尤其在相关信道下优越性更强。最后,本文利用干扰对齐技术,解决了广义空间调制(Generalized Spatial Modulation, GSM)干扰网络和GSM认知无线电(GSM based Cognitive Radio, GSM-CR)网络中各用户之间的干扰问题。在GSM干扰网络中,我们直接采用已有的干扰对齐经典算法消除网络中的干扰,并仿真验证了基于干扰对齐技术的新传输方案能够消除用户间的干扰,同时提高各用户的平均传输速率和网络总容量。针对GSM-CR网络中的干扰问题,本文首先研究了基于干扰对齐的传统CR网络的干扰问题,提出了一种最优收发机设计方案,在验证了该方案的可行性、低复杂度和低反馈等特性后,将该方案的基本思想应用于GSM-CR网络中。新算法利用了GSM网络中干扰对齐实现条件的特殊性,将原有的最优收发机设计方案从迭代算法简化为非迭代算法,极大的降低了算法的复杂度。再者,该算法消除了GSM-CR网络中各用户间的干扰,优化了各用户的传输性能。仿真表明,两种网络中的干扰对齐方案均可以消除用户间的干扰,并提高网络的总容量。