网络编码在信息论领域的重要突破激励了其在无线通信中的应用,而最具代表性的研究场景就是基于物理层网络编码(Physical-layer Network Coding, PNC)的协作无线双向中继网络。相比传统单向中继传输方法,基于物理层网络编码的无线双向中继方案,能够有效降低双向信息流在无线中继网络中传输时间的开销,进而提高网络吞吐量。目前,物理层网络编码已经受到了国际学术界及产业界的广泛关注。本文以无线双向中继网络作为主要研究对象,着重研究了结合多输入多输出(Multiple Input Multiple Output, MIMO)技术的物理层网络编码传输方案,并拓展研究了MIMO-Y信道中提升物理层网络编码传输可靠性的方法,以及超宽带(Ultra-Wideband, UWB)网络中具有复杂度低的抗符号间干扰技术及物理层网络编码传输技术。本文的主要研究内容和创新点归纳如下：第一,本文研究了适用于物理网络编码的基本MIMO传输方法。针对单天线源节点和多天线中继节点的双向中继网络,本文指出了目前基于虚拟MIMO观点设计的中继接收机的缺陷,提出了针对二元物理层网络编码符号的专属中继接收机——似最大比合并(Maximal Ratio Combining Like, MRC-L)接收机。该接收机强调了对物理层网络编码的适度检测,其判决仅基于接收信号与信道响应“加和”、“差异”的最大比合并项,以及信道响应之间的“相关”项。因此,该接收机具有明晰的物理意义及较低的实现复杂度。通过分析和仿真,证明了该接收机能够在双向中继传输的多址阶段获得全分集增益。基于此接收机设计,进一步明确了该网络中“需要通过两阶段分集传输以获得端到端分集”的正确观点,纠正了传统上基于虚拟MIMO设计传输方案的一些认识误区。基于以上观点,本文又提出了在双向中继多址阶段采用MRC-L中继接收机而在广播阶段采用空时编码(Space Time Coding, STC)或者中继天线选择(Relay Antenna Selection, RAS)的两阶段分集传输方案,并通理论分析和仿真实验说明了所提两阶段分集传输方案能够获得端到端的系统分集增益。另外,针对源节点和中继节点均配置相同天线数目的MIMO双向中继网络,本文提出了一种源节点采用迫零(Zero Forcing,ZF)收发器的简单MIMO物理层网络编码传输方案。该方案利用源节点发端掌握的信道状态信息,将MIMO双向中继信道进行解耦,获得了多个等效的单输入单输出(Single Input Single Output, SISO)双向中继信道,而在每一个SISO双向中继信道中,均可利用所提的MRC-L方案进行检测。因此,所提方案以较低的复杂度获得了MIMO双向中继系统的空分复用增益。第二,本文研究了MIMO双向中继网络中的中继天线选择方法。首先,针对单天线源节点和多天线中继节点的双向中继网络,本文提出了一种适用于二元物理层网络编码的多址-广播阶段公共天线选择方法。不同于所提的其它两阶段分集传输方案,该天线选择方法只需要中继端配置一个射频单元,并且只需要一次天线选择就可以为系统获得端到端的分集增益,具有较低的实现复杂度。另外,考虑源节点和多天线中继节点均配置多天线的MIMO双向中继网络(其中,,中继节点天线数目大于源节点天线数),本文重点针对基于ZF的MIMO物理层网络编码传输方案,提出了两种中继天线选择方法,即多址-广播阶段的分别中继天线选择(Respective Relay Antenna Selection, R-RAS)和公共中继天线选择(Common Relay Antenna Selection, C-RAS)方法,以消除基于ZF的MIMO物理层网编码传输方案受到系统天线数目配置的约束,同时获得了端到端的分集增益。特别地,本文详尽分析了该方案可达的分集增益并获得了精确的解析表达,并且通过仿真验证了理论分析的结果。第三,本文研究了MIMO-Y信道中的用户选择及中继天线选择方法。首先,本文注意到一些基于空间分集技术来增强MIMO-Y信道传输性能的方法通常需要增加源节点的天线数目,而这在实际系统应用中具有较大局限性。本文同样注意到,无线网络中的源节点数目及中继天线数目相对容易增加。基于以上观点,本文提出了MIMO-Y信道中以获取多用户分集和多天线中继接收/发送分集增益为目标的用户选择方法和中继天线选择方法。特别地,MIMO-Y信道中的用户选择模型对应了一种有中继辅助的三方组群信息交互模型,在很多实际场景中具有潜在的应用价值；本文提出群内代表元素的优选方法,提高了MIMO-Y信道的传输可靠性。此外,本文提出了适用于MIMO-Y信道的中继天线选择方法,消除了已有基于ZF的传输方案受系统天线配置的约束,同时提高了整个系统的传输可靠性。本文通过大量仿真研究了所提方案的性能,其中一些有趣的现象将为后续的深入研究带来有益启发。第四,作为以上基本理论研究的拓展应用,本文对UWB网络中的低复杂度抗符号间干扰技术也进行了研究。该研究为后续UWB网络中的物理层网络编码传输方案设计奠定了基础。注意到抗符号间干扰的传输方案设计是提高UWB网络传输效率的关键,本文提出了一种针对码字匹配-信号聚合(Codeword Matching and Signal Aggregation, CMS A)新型非相干UWB传输系统的低复杂度干扰预消除方案,实现该方案仅需要对传输码字(信号格式)进行优化设计。本文给出了一种具有特殊性质的正交码字：该码字除了具备传统正交码的基本性质之外,还具有移位正交性和移位重复性。基于该码字的UWB信号在经过符号间干扰信道后,依然可以和CMSA接收机完美匹配,从而能够对抗甚至部分利用符号间干扰,显著地提升了系统性能。特别地,该方案实现过程中联合接收机设计和信号格式优化的思路启发了本文针对UWB物理层网络编码传输方案的设计,因为物理层网络编码的关键同样在于对符号间干扰的有效管理。第五,本文在上述所有工作的基础上,研究了UWB双向中继网络中的物理层网络编码传输关键技术。注意到多径信道和单输入多输出(Single Input Multiple Output, SIMO)信道的等价性,本文从基本检测理论角度出发并参照MIMO物理层网络编码的研究成果,提出了适用于UWB二元物理层网络编码符号检测的中继接收机统一结构。在此基础上,本文结合相干UWB通信特点,提出了中继端采用全Rake (All Rake, ARake)、选择Rake (Selective Rake, SRake)或部分Rake (Partial Rake, PRake)的相干UWB网络编码接收器设计。另外,注意到实际UWB系统低复杂度的需求,本文提出一种基于非相干传输参考(Transmit Reference, TR)UWB技术的物理层网络编码传输方案,该方案避免了接收机复杂的信道估计运算。特别地,该方案对TR-UWB的发送信号格式进行了优化,并提出了基于自相关接收器(Auto-correlation Receiver,AcR)结构的中继端接收机,从而以较低的复杂度实现了物理层网络编码传输。不仅如此,本文通过理论分析获得了影响该接收方案性能的主要参数,并基于此分析,讨论了源节点总发射功率受限条件下的功率分配问题和中继选址问题。最后,通过仿真验证了所提方案的优良性能。