为解决未来无线通信中频谱资源稀缺与急剧增长的高速率数据业务之间的矛盾，高效合理的无线资源分配成为无线领域的关键课题之一。协作通信技术是未来无线通信系统中的核心技术之一，其以较低的开销使得高速率传输和可靠性传输成为可能。作为当前的研究热点，基于物理层网络编码原理的双向中继技术，能够克服实际的半双工限制，从而可以极大地提高系统的频谱效率。因此，如何充分挖掘包括双向中继在内的各种协作通信技术在资源优化方面的巨大优势成为当前研究的难点问题。本论文围绕这一主题展开，以理论建模为基础，以凸优化和组合优化等数学方法为手段，提出了一系列无线协作网络的优化构架和资源分配方案。本论文的主要成果包括：　　1、针对双向中继译码转发方式，推导了其在多信道下基于子载波集的可达速率域。在此基础上，将双向协作系统中功率分配、子载波分配和模式选择的联合优化问题建模成一个混合整数规划问题，其目标是保证每个用户最低服务质量的要求下最大化系统的加权和速率。以凸优化理论为指导，提出了一种基于连续松弛化和对偶理论的有效算法找到问题的渐进最优解。　　2、基于子载波配对技术，研究了多用户多中继双向协作网络的资源分配问题。我们以最大化系统总吞吐量为目标，对子载波配对、子载波分配和中继选择进行数学建模和分析。通过使用图论原理，将这个组合优化问题转换成一个二分图问题，最后利用匹配算法找到问题的全局最优解。　　3、研究了中继辅助的双向蜂窝协作网络的资源优化问题。首先提出了一种新的三时隙的时分双工协议，能够容纳直传、单向中继和双向中继三种传输模式。基于子载波配对技术，将子载波分配、中继选择和双向传输模式选择建模成一个组合优化问题，以最大化系统的总吞吐量。然后将此问题转化成一个权重最大团问题，最后使用蚁群优化算法在多项式时间内解决该问题。　　4、针对无线认知网络，提出了一种主用户和次用户在多信道环境下的合作框架，即次用户充当主用户的中继节点，做为回报，主用户释放部分子载波的传输时间给次用户。在此基础上，对模式选择、中继选择、子载波分配、功率和时间分配的联合资源优化问题进行了建模和分析，在保证主用户最低速率需求的条件下最大化次用户总的吞吐量。以凸优化理论为指导，提出了一种基于对偶分解的有效算法找到问题的渐进最优解。　　5、提出了一种多用户协作网络的分布式资源分配构架。将多用户合作功率分配问题建模成一个多拍卖商多投标人的拍卖问题，该功率拍卖问题还融入了中继选择和传输模式选择。提出了一种基于“主-对偶”迭代的分布式算法。按照所提算法，所有用户可以自主地决定其自身的功率分配策略并收敛于系统加权和速率最大化的全局最优解。