中继技术的兴起与发展极大改善了通信网络的覆盖能力。而多输入多输出(Multiple Input Multiple Output, MIMO)技术与中继技术的结合则有望推动中继实现更高频谱利用率、更高传输可靠性。本文主要研究多天线中继系统中的可靠传输技术,旨在优化中继系统中信息传输的误码性能以及安全性能。研究内容主要涵盖两个方面：1)以对抗系统噪声信道衰落等客观干扰为主要目的的分集技术；2)以对抗主观攻击为主要目的的安全通信技术。在分集技术方面,本文重点研究了具备全分集性能的低复杂度接收机设计、以及传输方案设计。在安全通信方面,本文重点研究了依靠物理层信号的攻击检测技术。本文的创新点归纳如下：第一,本文提出了一种针对MPSK调制的物理层网络编码(Physical-layer Coding, PNC)专属检测技术。该技术能够从物理层的接收信号中直接提取多进制移相键控(M-ary phase-shift keying, MPSK) MPSK调制下的网络编码符号而不需要经过分别检测再编码的过程,因此降低了运算复杂度。该技术的主要技术手段是计算接收信号的内积或者外积,从而使网络编码符号内含在内积或外积中。本文继而提出了一种基于内积或外积的最大似然检测算法来提取出网络编码符号。最后,仿真表明基于外积的最大似然检测器取得了全分集性能。第二,本文提出了基于符号的物理层网络编码(Symbol-based Physical-layer Coding, SPNC)传输技术。SPNC技术主要面向MPSK调制,在信息检测的最终环节采取PNC专属检测技术,因此具备PNC专属检测器的低复杂度优势。SPNC技术同时能在更宽泛的应用条件下获得全分集增益。具体而言,本文提出了基于天线选择的SPNC方案(Antenna selection based SPNC, AS-SPNC)和基于信号合并的SPNC方案(Signal-combination based SPNC, SC-SPNC)。理论分析不仅证明两种方案都可以获得全分集增益,同时表明在使用SPNC技术时,多天线中继系统可以等效为一个点对点的单入多出系统(Single Input Multiple Output, SIMO),并且,AS-SPNC方案和SC-SPNC方案可以分别视作这一等效系统中的AS和最大比合并方案(Maximal Ratio Combining, MRC)。本文给出了所提方案的误码率表达式,并且理论分析和仿真结果一致。最后,本文将所提SPNC技术扩展到MQAM调制的系统中,进一步深入了SPNC技术的研究和应用。第三,本文针对多中继网络提出了一种相位旋转(Phase Rota-tion, PR)辅助的中继选择技术,该技术旨在优化端到端的符号错误率。所提PR技术能够使MaxMin选择准则在采用解码转发(Decode-and-Forward, DF)模式的双向中继网络中获取全分集增益。本文所提PR技术可以控制最小判决距离使其无法趋向任意小的数值,从而改善误码性能,进而允许MaxMin中继选择技术获得全分集增益。同时,本文给出性能分析,分析结果不仅验证了所提方案的全分集性能,而且说明了所提方案还可以改善系统的阵列增益。值得注意的是相比现有文献中基于DF的设计方案,本文所提方案允许更灵活的中继天线配置。另外,为了避免实际应用中的反馈开销,本文还提出了一种基于PR的符号拓展方案,在该方案中源节点无需反馈信道信息同样可以采用PR技术辅助MaxMin准则获取全分集增益。第四,本文研究了可靠边信息缺失下的物理层攻击检测技术。该技术旨在使信宿节点在没有可靠边信息辅助时也能够检测中继节点是否如实履行转发职责。围绕这一目标,本文将中继系统划分为攻击可检测系统以及攻击不可检测系统。并通过理论分析证明了在攻击可检测系统中,一定存在渐进无差错检测子使信宿节点仅依靠物理层接收信号就能够掌握中继的行为信息,而这样的无差错检测子在攻击不可检测系统中一定不存在。本文继而提出了判定中继系统是否属于攻击可检测系统的实际验证算法,并通过所提验证算法进一步指出许多典型的中继系统都属于攻击可检测系统。同时,本文还提出了可靠边信息缺失下的恶意中继定位算法,理论分析表明该算法同样具有渐进无差错性能。值得注意的是本文所提的无差错检测算法都无需依靠密钥、先验参考序列等可靠边信息的辅助,因此相比现有的、基于密钥或者网络协议的检测算法,本文所提算法具有更高的传输效率。