下一代宽带蜂窝移动通信系统(IMT-Advanced)将采用无线中继技术来扩展覆盖范围,提高传输速率和系统的频谱效率。网络编码理论要求传输链路上的中间节点不仅仅转发接收到的信息,更需要进行相应的信号处理后再转发出去,这样既可以有效降低多用户传输的资源开销,又能够提高系统的频谱利用率和吞吐量。将自适应调制编码(Adaptive Modulation and Coding, AMC)技术应用到基于网络编码的无线中继系统中时会有许多难点和新的变化亟待解决。本文主要研究基于网络编码的无线中继系统中自适应调制编码。首先,我们研究了基于网络编码的多接入中继系统(Network Coded Multiple Access Relay Channel, NC-MARC)的自适应调制编码方式的选择问题。由于在多接入中继模型中每个发送端都含有两种信道状态信息,一种来自中继的反馈,另一种来自目的端的反馈。因此,为两个发送端和中继联合选择调制编码方式需要同时考虑两种信道状态信息。我们分析了多接入中继系统每一帧成功传输的概率。基于对成功传输概率的分析,我们提出了一种新型的低复杂度的调制编码方式选择策略,其主要思想是将整个系统等效成两条直连链路和一条编码链路,依据传输特性而有意的舍弃信道状态最差的一条链路,选择其他两条信道状态更好的链路作为调制编码方式的选择基准。该方法能很方便的应用到实际场景中,且性能很好。其次,我们研究了基于模拟网络编码的双向中继系统(Analog Network Coded Two Way Relay Channel, ANC-TWRC)中联合自适应调制编码和功率分配,首先给出了系统模型并给出了不含AMC的拉格朗日乘数法,其次我们将引入AMC之后的功率分配问题转化为整数凸优化问题,介绍了一种分支求解的方法,在此基础上,我们又提出了一种更为简便的快速注水法。该方法将剩余功率和与两个阶级的功率差做比较,然后采用升阶或降阶的方式来提高吞吐量或减少消耗功率。最后仿真表明,我们提出的算法同时比分支求解法计算复杂度更低,并且比不含AMC的优化解性能更优,一方面可以提高系统吞吐量,另一方面又能降低实际消耗功率。最后我们研究了部分频分复用、自适应调制编码和网络编码技术在基于OPNET软件的LTE-A中继仿真平台上的实现和验证。对平台实现的基本功能进行了介绍,包括物理层帧结构的定义以及仿真时间推进机制的实现。设计了实现通信功能模块,包括仿真参数初始化模块、无线链路初始化模块、系统同步定时模块。在仿真平台上对部分频分复用、自适应调制编码技术以及广播信道模式下网络编码技术进行了实现和验证。