下一代移动通信系统对频谱利用率和传输效率提出了更高的要求。认知无线电是现代无线通信的一种新模式，认知无线电是一个智能无线通信系统，它可以感知周围的无线电环境，通过对环境的理解主动学习并调整内部无线电参数(如功率、发射频率、调制编码方案等)，以更好的适应外部的环境变化。认知用户可以通过机会接入的方式利用空闲频谱，这样可以大大提高系统有限频谱的利用率。协作中继通信技术被认为是目前最有效的提高传输速率和网络覆盖的方法。在无线认知通信环境中引入协作中继技术，认知用户可以先将信息发送给认知中继节点，然后通过中继转发将信息传递给目的接收端。若认知中继节点在传送信息时对主用户的干扰相对较小，则其在转发信息时就可以使用较少的功率来抵消干扰，将更多的剩余能量用于转发来自认知用户源节点的信息。此外，在使用相同的发射功率时，利用中继节点转发信息可以降低认知用户的中断概率，提高系统总的传送速率。如果认知用户采用固定的传送速率，认知中继技术可以降低系统总的功率消耗。在认知用户能量受限的情况下，采用中继转发技术不但可以平衡认知用户之间的能量消耗，还可以解决因个别节点能源枯竭造成的系统失效问题。认知中继系统结合了认知无线电技术和协作中继技术的优点，对于在有限频谱资源情况下提高系统性能有着重要意义。　　 本文首先考虑了主用户干扰受限情况下，认知中继系统的最优化功率控制策略，并对此策略下系统的最小化中断概率进行了分析。然后，针对存在信道估计误差的情况，建立了贴近于实际的非理想信道状态信息下认知中继系统的数学模型并分析了非理想信道状态信息下认知中继系统的性能。推导出了非理想信道状态信息下认知中继系统中断概率的表达式。同时通过数值仿真比较了不同信道状态信息下系统的中断概率。理论分析表明在非理想信道状态信息下认知中继系统的性能较理想状态有所下降，但更符合实际情况。源节点在信道估计阶段分别向中继节点和目的节点发送探测信号，中继节点向目的节点发送探测信号来对各节点之间无线信道的信道状态进行估计。由于在实际情况中无线信道存在多种衰落和各种干扰，接收端反馈的信道状态信息往往是有限的并且是存在误差的。所以由实际情况推出的系统中断概率更具有实际应用价值。最后就认知中继系统中存在小区间干扰的情况，对基于最佳中继选择策略的认知中继传输方案进行了研究，推导了该方案的系统中断概率，并与目前存在的比较典型的传统中继选择方案进行了比较。在此方案中，本文以最大化系统容量为目标，选择具有最大端到端SINR的认知中继节点转发信息，认知用户接收端在考虑直传时采用最大比合并(MRC)策略将直传和认知中继转发信号进行合并，利用分集增益有效地提高了系统容量和降低了系统的中断概率。仿真结果表明，在无线瑞利信道环境中，在保证相邻小区用户正常通信的情况下利用认知中继转发目标基站信息可以有效地降低该小区用户的中断概率，此外与随机中继选择方案和基于瞬间信道状态信息(CSI)的中继选择方案相比，本文所研究的中继选择方案能够取得更高的系统信噪比增益。