变换域通信系统作为实现认知无线电的候选技术之一，在频域对环境谱进行感知，从波形设计角度出发，主动避开干扰，使系统具有很好的抗干扰性能，同时通过随机相位映射使系统具有抗截获以及多用户接入性能。本文针对传统变换域通信系统无法有效感知和剔除 Chirp类非平稳干扰的缺点，引入分数傅里叶变换，在分数域对环境谱进行感知和干扰剔除，即分数阶变换域通信系统。　　分数傅里叶变换作为傅里叶变换的推广，正交基是一组调频率相同，初始频率不同的Chirp函数，在兼容了傅里叶变换特性的同时，克服了傅里叶变换是全局变换的缺点，利用单一变量反映信号的时频信息。同余弦函数在频域是冲激函数类似，Chirp信号经过分数傅里叶变换后，在与调频率相对应的分数阶上也会表现出能量聚集性，这种特性使分数阶变换域通信系统相比传统变换域通信系统具有更好的抗非平稳干扰的潜力。　　本文首先分析了传统变换域通信系统的特性。其次，研究分数阶变换域通信系统的关键技术，包括分数谱感知、分数域基本调制波形设计等问题，其中分数谱感知通过在二维时频平面上进行峰值搜索，然后利用修正后的参数估计准则，有效地对环境谱中的Chirp干扰进行感知；从信号角度讨论了基本调制波形设计问题，给出了在分数域设计的基本调制波形的信号模型。另外，本文还对分数阶变换域通信系统的误码性能以及多址性能进行了理论分析和仿真验证。并且通过仿真证实了分数阶变换域通信系统较传统变换域通信系统在抗Chirp类干扰时，性能有明显改善。最后本文提出了基于OFDM的分数阶变换域通信系统，相当于在分数域实现具有感知功能的OFDM系统，并且在信号波形设计角度讨论了该系统的实现，分析了系统在AWGN信道下的误码性能。