随着无线通信业务的发展越来越多元化,用户对通信的要求也越来越高,导致频谱资源匮乏的问题日趋严重。认知无线电作为能有效缓解频谱资源紧张现状的重要技术,成为未来无线通信的研究热点。其中,频谱感知作为最重要的技术之一,通过用户之间的频谱资源共享的策略,能有效提高频谱利用率。但在主、次级用户共存的认知无线电带宽受限网络中,主用户(Quality of Service) QoS需求会限制次级用户的数据传输,从而无法满足基本通信业务。本文基于用户之间的相互合作,设计频谱共享策略,提高网络通信性能。由于节点间的不同合作策略,会对网络利益产生不同的影响,因此可利用博弈论来研究各节点间的策略优化问题。博弈论作为研究博弈参与者间竞争与合作机制有效的数学工具,在本文中用来研究次级用之间的合作行为,通过优化次级用户之间的合作策略达到增加次级网络数据传输容量的目的。本文的主要工作和研究成果如下：首先,为提高主用户和次级用户共同的通信性能,在认知无线电中引入协作中继传输,研究主用户与次级用户之间的协作机制。借用协作传输的模型,次级用户被允许占用主用户的授权信道一段时间。通过这种协作机制,可以在一定程度上改善主用户的传输质量,也可以使次级用户获得收益。其次,针对协作认知无线电网络模型,提出基于联盟形成博弈的合作中继选择算法。认知无线电网络中的协作传输过程涉及到主网络与次级网络之间的资源共享,本文将协作认知无线电网络中的中继选择建模成一个联盟博弈过程,利用联盟形成博弈理论设计一种机制,以刺激次级用户以合作的方式参与协作传输。设计了主网络与次级网络之间的时分协作传输协议,以期在保证授权用户传输质量的前提下提高非授权网络的整体传输容量,并通过仿真验证该算法在次级网络通信容量方面的性能提升。最后,为了进一步提高次级网络的通信容量,提高系统资源的利用率,将主网络与次级网络之间的时分协作传输协议改为基于频分复用的协作传输协议,利用OFDM(Orthogonal Frequency Division Multiplexing,OFDM)自适应资源分配系统,实现用户与子信道的最优匹配,同时利用联盟形成博弈理论设计并优化次级网络间合作策略的中继选择算法。通过仿真结果证明,频分系统以及OFDM的自适应分配资源的方法进一步增加了次级网络的通信容量,同时也进一步加强了主网络协作传输的可靠性。