离散谱系统由频域上一系列间隔的空闲谱段构成,利用频谱聚合技术,结合合适的预编码,非授权用户可以灵活地占用授权用户未使用的空闲频段,从而有效地提高实际频谱利用效率。多天线(MIMO, Multiple Input Multiple Output)技术开辟了除时间、频率之外的空间自由度,可以有效提高频谱资源效率,获得的分集增益、复用增益、阵列增益有效地提高了数据的传输速率和信号的可靠性。当天线数进一步增加,形成大规模天线(Massive MIMO)阵列时,相比传统的MIMO系统,仅利用线性接收机就可以达到可达速率的性能上界。频谱聚合、MIMO和Massive MIMO都极大提高了频谱效率,成为未来第五代无线通信的物理层技术基础。类似于MIMO系统,离散谱系统在频域上具有多个自由度,存在分集-复用折中(DMT, Diversity and Multiplexing Tradeoff)问题,因此MIMO系统中DMT的分析方法可以用来获取其DMT性能。相比中低速运动,高速移动下无线信道发生很大变化,而MIMO系统除分集、复用增益之外还可获得阵列增益,这在高速列车通信系统的切换中得到极大应用。当MIMO中天线数进一步增加,成为Massive MIMO系统时,线性接收机就可以达到可达速率的性能上界。本文围绕无线通信系统中的这三个问题,基于MIMO相关技术和数学分析方法,进行了创新性的探索,得到了有限信噪比下离散谱系统的DMT性能；创新性地利用多天线中继的波束成形实现了高速列车通信系统的软切换；分析了一种线性接收机,匹配滤波(MF, Matched Filter)接收机,在分布式Massive MIMO系统中的性能。首先研究了无线通信中离散谱聚合系统的DMT性能。离散谱系统在频域上呈现为一系列独立衰落的子频带,存在频域的DMT问题。不同于MIMO系统,离散谱系统各子频带具有不同的带宽以及不同的功率限制。在总功率受限情况下提出了最大化系统遍历容量的功率分配策略,进一步分析了子频带分别在独立编码和联合编码,有限信噪比以及无限信噪比下的DMT性能,分析结果显示联合编码相比独立编码,在相同的复用增益下,分集增益得到显著提升。子频带的带宽分布、有限信噪比下各子频带的功率限制带来的对DMT的影响也得到了分析,结果显示在相同复用增益下,某一子频带过低的功率限制会降低系统的分集增益。其次研究了无线通信中基于多天线波束成形的移动切换策略及其性能。MIMO系统除了能够获得分集、复用增益之外,还能够获得阵列增益,这在高速移动的列车通信系统的切换中得到极大应用。高速移动会带来严重的多普勒干扰、信道估计误差和频繁的硬切换,而多天线中继在高速移动环境下可以无需复杂的信道测量,只利用主径信号做波束成形即可获得阵列增益。提出了两种基于位置信息的波束成形方法,统计最优波束成形和锥形滤波,并分别分析了其优缺点。随着列车的移动,在一定目标函数的约束下,分配给服务基站链路的功率逐渐降低而分配给目标基站链路的功率逐渐增高,直至功率完全分配给目标基站链路,最终完成软切换过程,避免了高速移动下快衰落信道的信道测量误差以及频繁的硬切换带来的高掉话率。由于列车在极短的时间内运动基本符合线性,本系统中用到的一些参数也符合线性更新原则,这就使得本方案在实际场景中非常实用和高效。最后研究了无线通信中分布式Massive MIMO系统中MF接收机的性能。当MIMO系统中天线数进一步增大,直至无穷大时,形成Massive MIMO,最大可达速率以及相比传统MIMO系统达到相同可达速率付出的代价会发生重大变化。这里分析了最简单的接收机,MF接收机。分析结果显示,当基站装备有分布式Massive MIMO时,相比集中式的情况,噪声和导频污染表现相同,而多用户干扰会表现出不同的特性,和天线的位置分布有关。由于地理空间的限制,实际场景中,分布式天线不会特别多,这又导致和集中式Massive MIMO类似的性能,且受离用户最近的天线影响最大。最后分析了几种典型的不同地理空间分布下MF接收机的性能。