本文针对未来移动通信系统中高谱效率编码调制技术、空时编码技术以及小区间干扰抑制技术进行了深入研究,并对系统级仿真平台和硬件仿真平台搭建方法进行了深入讨论。传统编码调制技术囿于固定的信道输出,在高谱效率区距离香农容量界较远。OvCDM技术则通过多路叠加逼近高斯分布,本文首先通过推导随机时变OvCDM系统误码率的一个修正上界证明其可以达到香农容量。其次给出了一种简化OvCDM设计,该简化设计本质上仍然是串行级联OvCDM系统,但通过优化编码结构,其接收机复杂度大幅度降低,同时系统性能损失不超过0.3dB。OvCDM系统在衰落信道中有较高的误码平台,本文设计了一种交织编码掺杂技术,降低了误码平台；衰落信道下,高误码平台往往与高误帧率相关,本文利用高码率的BCH码设计了一种改善误帧率的方案。基于对OvCDM系统的观察,本文还设计了一种相比普通星座减少电平数的编码调制方案,并给出了一种用以替代64QAM的36点星座图。尽管在新的方案下,比特向量与输出星座间不存在一一映射,但通过优化从比特到信道符号的映射,新的方案性能仍然能超过64QAM。而由于减少了输出电平数,该方案输出信号的峰均比低于普通的编码调制系统。高谱效率条件下,LTE系统中使用的开环发分集方案FSTD与CDD将不能获得全部空间分集增益。本文设计了一种基于位置置换的发分集方案,可以有效改善高谱效率条件下系统获得发分集的能力。在此基础上,本文推广提出了一种新型的空时交织码方案,该方案可应用于多径信道,获得全部的空间分集与频率分集增益,并且不损失速率。其编码结构中包含的交织器便于在收端设计迭代结构,从而大幅度简化接收机复杂度。本文还研究了高相关性多天线系统中的快速检测算法,包括基于格基减的MMSE-SIC以及增加割平面的半正定松弛方法。由于高谱效率重叠频分复用系统等价于高相关性多天线系统,因此上述两种快速算法也可用来降低OvFDM系统接收机复杂度。小区边缘谱效率是多小区系统的重要性能指标。本文从小区间是否存在协作的角度分多种情况分析了多小区系统容量。在完全无协作时,干扰将被作为噪声处理。此时,可以证明,仅仅通过采用干扰随机化等方法,同频组网系统的小区边缘谱效率就可以超过通过正交分割资源进行组网的系统。当小区间允许通过信令协作获得干扰信道信息时,多小区系统在高谱效率区随信噪比增加的速度可以逼近无干扰系统。而当小区间允许实时信号处理层面的协作时,小区间的强干扰不仅不会损失系统容量,还将有利于提升小区边缘谱效率。基于这一分析,本文提出了重叠交织复用技术,这一技术可以在小区间无协作时抑制强干扰源。而在有协作时,还可以通过预编码进一步提升系统谱效率。本文分别给出了两小区互干扰和三小区互干扰场景下的预编码设计方法。此外,小区间还可以通过协作进行资源联合调度,降低干扰,本文设计了一种可应用于重叠交织复用系统的多小区联合调度方案,并给出一种简化迭代调度算法。系统级仿真和硬件仿真可以对技术方案性能作出有效评估。本文以作者在"IMT-A多址技术研发”国家重大专项中设计并参与搭建的平台为例,讨论了系统级仿真平台搭建的方法与相关模块设计,给出了一套高效率开发硬件仿真模块与平台的流程。