随着移动通信进入5G时代,5G通信网络对数据传输速率、传输时延、整体能耗和频谱利用率提出更高的要求。多输入多输出(MIMO,multiple input multiple output)技术通过多根天线进行数据的传输,在提高系统频谱效率的同时,也带来了信道间干扰、天线间同步和高能耗等问题,空间调制技术可以很好的解决上述问题。然而,一方面,现有空间调制的信号检测方法检测性能较差,需要寻找性能优异兼具低复杂度的检测方法;另一方面,MIMO系统中的物理层安全传输方案直接应用到空间调制系统中保密效果较差,需要新的针对空间调制系统的安全传输方案。为此,针对上述问题与需求,本文从以下两个方面开展了研究。1、本文在研究经典信号检测算法的基础上,设计了两种改进的信号检测算法。首先针对最大似然算法复杂度较高的问题,设计了一种采用权重因子的低复杂度空间调制检测算法。该算法给出了一种权重因子,其下标对应发射端的天线序号,然后对权重因子的值进行降序排列,并选取若干个值对应的天线序号组成天线候选集。在进行信号检测时,对候选集中的发送天线和调值符号进行联合搜索。其次,针对距离排序算法搜索次数过多的问题,设计了一种基于阈值门限的改进距离排序检测算法。该算法也引入了天线候选集的的思想,在对激活发送天线序号和发送符号的联合估计时,如果计算结果小于所设定的门限阈值时,立即终止搜索。仿真结果表明,两种改进的算法的误码率性能接近最大似然算法,同时具有较低的复杂度。2、本文研究了空间调制系统中的信息安全传输问题。针对现有的安全传输方案保密能力不强的问题,设计一种引入人工噪声的增强型安全传输方案。利用合法用户的信道状态信息对发送天线索引和星座符号索引进行一定的变换,然后进行比特信息调制映射,对系统的安全传输能力进行对比分析。其次,在空间调制安全传输模型中,当发送天线数目不为2的整次幂时,就涉及到发送天线的组合选择问题。从瞬时保密互信息的角度出发,给出了一种基于截断速率的发送天线选择方案。仿真结果表明,该方案优于已有的天线选择方案,可以提高系统的保密速率,同时保持良好的误码率性能。