无线中继是在不增加基站数目的前提下，有效扩大覆盖范围的一种技术。通过利用网络编码，双向中继协议可获得比单向中继协议更高的频谱效率。考虑到放大转发双向中继传输的低复杂度和高效的传输效率，本文研究的场景建立在放大转发双向中继网络(Amplify andForward-Two Way Relay Network，AF-TWRN)之上。为了在AF-TWRN中追求更高的信道容量，需要有效地降低乃至消除用户间的干扰这个制约容量的重要因素。干扰对齐（InterferenceAlignment, IA）作为干扰管理研究的新方向，可以有效降低网络中用户间的干扰，提高系统性能。要实现IA，各节点需要知道信道状态信息，这一点可以通过信道估计来获得。基于压缩感知（Compressive Sensing，CS）的稀疏多径信道估计方法相比于传统的信道估计方法，可以充分利用放大转发双向中继信道（Amplify and Forward-Two Way Relay Channel,AF-TWRC）的稀疏多经结构，大大提高系统资源利用率。论文的主要内容如下：第一，利用CS对AF-TWRC进行信道估计。首先将TWRC的信道估计问题转换到点到点的信道估计问题上来。然后对转换后形成的级联卷积信道用正交匹配追踪算法(OrthogonalMatching Pursuit,OMP)进行信道估计。文中设计的方法相比于传统的信道估计方法，可以大大降低训练序列的长度。第二，针对蜂窝小区中存在的用户间干扰问题，在改进的扇区天线小区模型下，通过对蜂窝小区进行分组，分别针对小区间干扰和用户间干扰设计两个级联的预编码矩阵来实现干扰对齐。同时，考虑到平均分配功率的方法不能最好利用基站总功率，因而采用一种基于信道矩阵迹的算法来实现基站功率的动态分配。文中所提算法可以迅速降低系统误码率，提高系统的可达和速率以及用户平均速率。第三，研究干扰对齐与网络编码在AF-TWRN中的联合应用。设计将干扰对齐思想应用到多用户AF-TWRN中，结合网络编码，通过在多址接入阶段将每一对用户发送到中继的信号对齐到同一个子空间，在广播阶段将每一对用户收到的信号也对齐到同一个子空间来消除其他用户带来的干扰。同时，在传统迫零方法的基础上提出了基于可达和速率最大的中继处理矩阵优化设计方案。文中设计的方法相比传统的方法需要的中继天线数大大降低，并能有效地提高了系统的可达和速率。