在双向中继无线网络中，由于两个信源节点到中继的距离并不都是一致的，就带来了信道之间的不对称。如果两个信源节点到中继均采用低阶的调制方式，信道质量好的资源没有得到最大限度的使用，造成了信道资源的浪费；而两个信源节点到中继均采用高阶的调制方式，导致质量差的信道不能够有效的承载高阶调制方式，使得信源节点发送到中继的数据误码率得不到保证，最终导致系统性能的下降。网络编码技术的出现颠覆了传统的观念—中间节点只能对接收到的信息进行存储转发。网络编码基本思想是网络中间节点将多个数据流进行非线性或线性变换后向目的节点进行转发，有效的提高了网络吞吐量。分层调制技术通过给不同的信息分等级的保护，使得重要的信息在接收端具有更好的性能表现。本文基于无线双向中继信道传输场景，对网络编码与分层调制技术进行了深入的研究，本文的研究内容如下：1、在实际双向中继信道传输中，两边信道的质量一般是非对称的，可以采用传统补零方案来使得信息对称，本文在传统补零网络编码方案的基础上提出了分层补零网络编码方案，有效的降低了系统的冗余度。通过理论分析和仿真结果显示所提出的方案的系统误码率性能得到了改善。2、针对无线双向中继系统，提出了基于阀值控制的自适应网络编码分层调制方案，在传输过程中，中继节点根据两个信源节点的信道质量进行自适应联合编码分层调制，使得系统的性能得到提升。在不同信道质量的时候，可以自主的选择相适应的网络编码方案。