认知无线电(Cognitive radio, CR)由于能较好地解决无线频谱资源匮乏和频谱利用率低下的矛盾,成为下一代无线网络研究的一个热点。在认知无线电网络中,一方面,认知系统需要采用适应性强、灵活性好且频谱利用率高的物理层传输方案,提高整个系统的通信质量,以解决无线通信系统的适变性问题；另一方面,认知用户需要在低信噪比下可靠地对较宽频谱资源进行感知,检测授权主用户(Primary User, PU)和其他非授权次用户(Secondary User, SU)的频谱使用情况,以解决无线宽带频谱的认知性问题。因此,本论文致力于研究解决无线通信系统的适变性和无线宽带频谱的认知性两个关键性问题。多载波调制技术被视为实现动态频谱资源管理和高速率数据通信的关键技术。本文首先从多载波调制技术应用于认知无线电的基本思想出发,系统地分析了正交频分复用、小波包和基于滤波器组多载波技术在频谱动态接入中的特点,从理论和原型滤波器设计实例两方面对常见的基于滤波器组多载波调制技术进行了性能分析和比较,为后面的研究打下了理论基础。针对无线通信系统的适变性问题,借助于滤波器组设计灵活和可伸缩性的特点,以提高系统的频谱利用率和降低PU干扰为目标,提出了基于余弦调制滤波器组(Cosine-Modulated Filter Bank, CMFB)的多载波通信系统设计方法。在CMFB的总体系统设计方面,通过引入重叠因子,在SU对PU的干扰水平与SU系统频谱效率之间权衡,利用SU载波波形弹性可调及带外频谱泄漏小的优势,研究并实现了满足最小旁瓣能量的近似完全重构CMFB系统。在原型滤波器的最优化求解方面,提出并实现了双向自适应线性最优算法,通过自适应调整搜索步长和搜索方向,快速找到最优的原型滤波器。较之现有的认知无线电物理层传输技术,本方法频谱泄露小,带外功率抑制能力强,且无需添加循环前缀,是一种频谱利用率高、抗干扰性能强的调制技术。针对宽频带智能感知需求,研究了基于滤波器组的多信道频谱感知方法。在多信道频谱估计方面,提出了基于CMFB的多信道宽带频谱并行估计方法,通过灵活设计原型滤波器,控制其频谱泄露和对相邻信道的干扰水平,从而提高频谱估计的精度。由于CMFB良好的旁瓣抑制和频谱动态捕捉性能,该方法适应于频谱动态范围较大的频谱估计。在多信道能量检测算法方面,研究并实现了基于滤波器组的多信道并行感知框架,通过多个相邻子带结合实现了不同带宽信道的并行感知,从理论上推导了AWGN信道和瑞利信道的感知决策规则。利用USRP和GNU搭建硬件测试平台,验证本方法的感知性能和有效性。所提出的基于滤波器组的并行频谱感知框架,能够在SU接收设备中同时实现数据传输和频谱感知,适用于非等带宽多信道频谱估计和感知。针对非理想上报信道及感知用户空间分布对认知系统的影响,在分析多用户协作机制与空间-频谱多样性之间权衡关系的基础上,提出了基于滤波器组的多用户多信道频谱感知方法。在基于滤波器组的多信道协作感知框架下,利用滤波器组实现信号接收和多信道的信息提取。在多信道协作感知建模方面,创新性地提出了协作因子以描述多用户多信道感知的协作策略和能量消耗,在感知精度、感知效率和感知开销等方而做权衡。在多信道协作感知优化问题方面,以对PU的干扰和SU感知能耗受限下SU最大的吞吐量为目标,研究了非理想上报信道对多用户协作机制和融合策略的影响。在多信道协作感知最优算法方面,提出了基于遗传算法的优化策略,以解决多用户空间多样性和多信道频谱多样性两个难题。所提出的基于滤波器组的多用户多信道频谱协作感知模型为认知无线电网络多信道协作感知提供了新的思路。本文以提高认知无线电频谱使用率和降低对PU的干扰为核心,对认知无线电两个关键问题进行了深入探讨,提出了相应的解决方案并通过实验验证了相关理论正确性和方法可行性。基于以上解决方案,认知无线电中的非授权用户可以借助基于滤波器组的多载波调制系统框架获得数据传输与频谱感知并存,实现无线频谱资源的高效利用和可用频段的快速准确感知。