移动通信系统从第一代到当今的第四代,从基本的语音通话业务,到支持百兆级数据业务,通信技术呈现飞跃式的发展。然而,随着媒体流的广泛应用和智能终端的普及,人们对通信系统的数据率具有更高的需求。在保证通信可靠性的基础上,提高通信系统速率,同时进一步扩大原有蜂窝小区的覆盖范围,是新一代移动通信系统研究的重要课题之一。中继通信,作为是一种能够有效改善上述问题的技术,在过去十年得到了学术界和工业界的广泛关注。本文将研究该技术在广义场景中的应用,同时讨论一些实际场景中存在的问题。此外,在未来的通信场景中,设备与设备之间通信所引入的安全问题,也值得关注和探讨。本文将重点基于以上问题,进行深入研究。本文首先研究了比单向中继场景具有更大性能增益的双向中继场景。相比于传统的双向中继研究,本文研究的场景更具有一般性,即包含多个用户多个中继的场景,同时还考虑网络中结点配有多个收发天线时的情况。目前有关于双向中继场景下的均方误差(MSE,Mean Squared Error)优化问题,大多可以看成是本文研究的问题的退化版本。本文提出了两种MSE优化策略,分别是对用户MSE之和的优化以及对用户最大MSE的优化。基于上述两种优化准则,本文分别对最优的用户接收机、中继以及用户预编码矩阵进行设计。由于同时对用户接收机、中继以及用户预编码矩阵这三个变量的进行最优化的问题是属于非凸优化问题,难以找到最优解。因此,本文采用先固定其中两个变量,然后优化第三个变量的方法,将该问题转化为标准凸优化问题。文中通过轮流固定变量,将阶段优化结果代入新一轮迭代,最终给出收敛的最优解。仿真结果显示,本文提出的两种联合收发设计算法要优于现有的一些算法。其中,基于最小化用户最大MSE的优化算法相比于基于最小化用户MSE之和的优化算法,能够获得更好的误比特率(BER,Bit Error Rate)性能。这是因为系统的误比特率性能很大程度上取决于最差用户的MSE,而前一种优化算法能够有效减少系统的“短板效应”,平均化每个用户的MSE。本文针对现实系统中可能出现的信道状态信息误差的情况进行了分析研究,讨论了信道误差符合高斯误差分布的情形,并尝试将MSE以及中继功率表达式中的信道误差项通过求解数学期望进行处理。然后,本文依次优化求得用户接收机,中继预编码以及用户预编码,再通过多次迭代,直至算法收敛。本文分别以最小化用户MSE之和以及用户中最大MSE为优化目标进行了数值分析和仿真验证。仿真结果显示,考虑了信道误差的鲁棒性算法相比非鲁棒性算法具有更好的BER性能,而且在高信噪比情况下不会出现性能变差的现象。同时,在考虑信道误差的鲁棒性算法中,基于优化用户中最大MSE的算法性能优于基于用户MSE之和的算法。本文针对在有限反馈场景下会出现的范数受限误差模型,也进行了相应研究。范数受限误差的存在,使得优化问题的求解更加困难。本文在最小化中继发射功率的前提下,尽可能提高用户的信干噪比,在中继功率最大并且用户信干噪比最小的情况下,对范数受限误差存在情况下的性能进行优化。仿真结果证实,本文提出的算法相比于传统的非鲁棒性方案能够获得更好的用户信干噪比分布。本文针对协同通信场景下物理层安全速率的课题进行了相关讨论,主要研究了存在一个窃听者的中继协同通信的场景。合法用户的信息需要中继的协助才能获得,但是在辅助通信传输过程中,窃听者有可能去窃听该合法用户的信息。考虑到窃听者的特殊身份,中继和窃听者之间的信道假设为范数受限误差模型。本文提出了依次优化中继和基站预编码的迭代设计方案,并给出了相应的仿真结果。仿真证实,本文提出的方案能够很好的抑制窃听者的信噪比。其次,本文还讨论了存在一个窃听者的多基站协同通信的场景。针对预先已知与未知被窃听用户身份的情况,文中分别给出了相应的联合基站预编码设计方案。类似地,依然采取范数受限误差模型,本文讨论了窃听者与基站之间的信道状态信息不准确时的情形。接着,本文给出了相应的鲁棒性基站联合预编码设计方案。最后的仿真结果证实,本文提出的两种算法都要优于传统的信号泄漏噪声比预编码方案,同时在非理想信道状态信息的情况下,本文设计的鲁棒性方案比非鲁棒性方案能够更好地抑制窃听者的信干噪比。综上所述,本文的主要创新点包括以下几个方面。首先,研究了更加广义的双向中继模型,即包括了多个双向中继、多个用户对,并且每个通信节点都配有多个收发天线的模型。针对该广义模型,本文研究了基于不同MSE优化准则下的收发机设计算法,并与现有的一些算法进行了比较。本文还研究了符合现实情况的存在信道状态信息误差的情形。其中,误差被细分为两类,分别是高斯误差模型以及范数受限模型。本文针对不同的误差类型,分别给出了各自相应的鲁棒性预编码设计方案。再次,本文还讨论了在多点协同场景下的物理层安全速率优化问题。最后,针对本文的各个研究点进行了总结,并展望了未来无线通信领域可能的研究方向。