无线通信系统的设计需要兼顾可靠性和有效性。为了提高传输的可靠性,需要采用先进的信号检测技术来获得好的误码性能,同时采用分集技术克服无线信道的衰落；为了提高传输的有效性,需要采用高效的复用,多址技术来提高系统的频谱效率。本论文从提高传输可靠性与有效性出发,主要从下面几方面进行讨论：数字调制系统的最优检测结构,高效的最优与准最优检测算法；频率选择性衰落信道中的发射分集设计；两种重叠复用技术,包括重叠时分复用(OVTDM)和重叠码分复用(OVCDM);一种重叠多址技术,即重叠码分多址(OVCDMA);最终对干扰对齐技术进行分析。本文首先讨论了白化滤波接收机这一数字调制系统的最优检测结构。并对之进行了改进。提出了基于矩阵分解的白化滤波器设计,较之原本的基于多项式分解的白化滤波器结构,可以应用于时变信道,应用范围更广。之后讨论了在通信中具有重要意义的最近格点问题,为了解决这个问题,介绍了球译码算法和概率数据辅助算法这两种算法,并对球译码算法进行了改进,利用恒幅度字符集的特性,使得球译码算法可以适用于过载系统。而给出了另外一种形式的概率数据辅助算法,该算法与之前的概率数据辅助算法完全等价,但避免了对信道相关矩阵的求逆。在频率选择性衰落信道中的发射分集设计方面,从空间分集的成因出发进行分析,将平坦衰落信道中的两条空时编码设计准则——差错矩阵满秩准则和差错矩阵最小行列式最大准则——推广到了频率选择性衰落信道。第一条准则使得空时编码获得满空间分集,第二条使空时编码的编码增益最大化。之后以这两条设计准则为指导,将原本适用于平坦衰落的空时编码推广到了频率选择性衰落信道之中。提出了一种利用零相关窗码字的适用于频率选择性衰落信道的空时分组码(STBC)设计,该方案利用零相关窗码字分别对发送数据的各个副本进行扩频,在接收端利用零相关窗码字的窗内理想相关特性分离各个副本,再合并接收获得发射分集增益。该方案与已有的频率选择性衰落信道的空时分组码方案相比复杂度更低。之后又提出了一种适用于频率选择性衰落信道的螺旋分层空时码设计。该设计可以灵活地在分集与复用间进行切换,属于全复用全分集的空时编码。在对OVTDM的研究方面,主要侧重于对其理论方面的探讨。在对OVTDM的系统模型与检测方式的基本介绍后,对OVTDM的几个基本理论问题进行了分析。首先分析了OVTDM的功率谱密度,分析证明OVTDM的功率谱与一般的数字调制系统具有相同的形式。消除了对于波形重叠可能会扩展带宽的疑虑。之后分析了OVTDM的信道容量。研究表明,OVTDM通过波形重叠,使得其信道容量超过了奈奎斯特系统的信道容量。并且当重叠重数超过成型脉冲的带宽与无符号间干扰采样周期的乘积后,OVTDM的信道容量最终能够达到波形信道的信道容量。这也是一切数字调制系统的终极信道容量。在对OVCDM的研究方面,主要侧重于对OVCDM的简化算法的设计。在对OVCDM的系统模型与检测方式的基本介绍后,介绍了通过将多级OVCDM进行级联而获得更好性能的级联OVCDM后,针对级联OVCDM检测复杂度过高的问题进行了分析,提出了一种并行检测结构,根据OVCDM的结构特点,将原本的OVCDM进行拆分,分割为多个子OVCDM编码结构后分别进行检测,并在这些子OVCDM间进行软信息交换。最终在性能损失极小的情况下降低了检测复杂度两个量级。在对OVCDMA的研究方面,侧重于对系统的设计。在对OVCDMA的思想进行介绍后,对OVCDMA系统进行了详细的讨论。OVCDMA将互补正交码及其移位重叠作为地址码分配给各用户。提高了码字利用率。本文中将OVCDMA等效为时变系统,并设计出了对应的最优检测结构。随后又讨论了OVCDMA的小区组网方式。通过将不同的互补正交码分配给相邻小区,使得小区间的信号彼此正交。便将联合检测的范围限制在本小区内。小区间根据四色定理进行组网,实现了重用因子为4的四色组网。在对干扰对齐技术的研究方面,主要侧重于在K用户多发多收(MIMO)高斯干扰信道这一最接近实际情况的条件下的干扰对齐机制的研究。干扰对齐由于其能达到干扰信道的自由度上界,一提出便得到了理论界的关注,本文在介绍了干扰对齐的思想之后,介绍了一种在K用户MIMO高斯干扰信道中获得数值近似干扰对齐解的方法,并在时分双工(TDD)系统中,利用上下行信道互易性的特点,将该方法改造成了分布式的算法,大大降低了在收发端对于信道信息的要求。之后还给出了一种3用户时的闭式解。