为了解决频谱资源稀缺与爆炸式增长的无线通信服务对频谱资源需求的矛盾,认知无线电(Cognitive Radio, CR)被作为一种有效的解决方案而提出。在认知无线电系统中,认知无线电用户可以自主的寻找某段频谱的授权用户(Licensed User, LU)不占用该频段的“频谱空洞”(即时间上或空间上的空闲频谱),在这些频谱内来传输自己的数据。认知无线电的对于无线资源频谱利用率的提高有重大意义。本论文主要研究了认知无线电用户在接入空闲频谱之后,如何设计自身的发射信号,以使得其自身资源利用最优化,并且同时保证授权用户(也称主用户)的传输不被破坏的问题。这一技术能保证认知无线电用户的合法接入以及更加有效的利用有限的频谱资源。本论文主要在以下方面进行了研究:对于单用户多载波的认知无线电系统,在接入授权用户的空闲频谱之后,如何抑制正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)符号的高边带泄露特性以控制对授权用户的干扰是一个重要的问题。本文首先介绍了现存的一些边带抑制方法,并分析其性能以及它们与认知无线电系统的不适应性。在此基础上,本文提出了两种认知用户发射信号优化模型,在这两种模型下,认知无线电用户可以在保证对授权用户的严格干扰限制下,达到自身容量的近似最优化。对于多用户窄带多入单出(Multiple Input Single Output, MISO)的认知无线电小区,本文将认知基站下行功率控制与对授权用户干扰控制的问题设计成了一个下行链路波束成形(Beamforming)的问题。通过数学转换可以看到,该问题在逐符号优化的情形下是一个标准的二次凸锥规划问题(Second Order Cone Programming, SOCP),可以通过标准的凸优化算法求解。另外,为了简易的硬件实现,该问题还可以被对偶成传统环境下的上行链路问题,从而用定点迭代法求解。仿真显示迭代法的性能几乎与凸优化解法一致。本文还研究了在多用户宽带多载波多入多出(Multiple Input Multiple Output, MIMO)认知无线电小区中,上行发射信号的设计。在抑制对授权用户干扰的同时,通过预滤波与接收端的匹配滤波接收,可以选择一个空间信道进行选择,使得认知用户之间可以免除高的用户同频干扰,从而达到认知用户的容量最大化。本文为该问题设计了一种基于子梯度法的迭代解法,从仿真结果来看,采用这种收发结构的认知无线电系统容量优于其他用于对比的结构。