随着人们对高速率、高质量的无线通信业务需求的不断增长,未来无线通信系统面临着越来越严峻的挑战。如何提高有限频谱资源的利用率和有效抑制通信中的干扰是未来无线通信系统的核心问题。一种有效的解决办法就是引入先进的信号处理技术。近年来,在通信领域涌现出许多新型信号处理技术以提高频谱利用率和信息传输的可靠性,极大地丰富了傅里叶变换这一基本信号分析与处理工具的内涵和外延。其中,分数傅里叶变换作为傅里叶变换的广义形式,它突破了傅里叶变换只能在时域或频域范围内进行信号分析的局限,能够在介于时域和频域之间的分数域分析、处理信号。与傅里叶变换相比,分数傅里叶变换多了一个旋转角度的自由参数,随着角度从0连续增长到π/2,它能够展示出信号从时域逐渐变化到频域的所有特征。当研究信号的表达、传输、滤波、分离、估计或检测等基本问题时,傅里叶变换仅能给出基于单一时域或频域的分析结果,而分数傅里叶变换可以基于包括时、频域在内的多个角度分数域对信号进行对比分析,从而能够得到“全局”意义的最优结果。鉴于此,本文从分数傅里叶分析的角度对通信系统各功能模块涉及的一些基本运算、定理与准则展开分析与研究,得到的主要结果如下:　　关于分数傅里叶变换的基础理论,得到了几个新结果。首先,导出了分数傅里叶变换下的Hermite算子(即分数阶频率算子)和酉算子(即分数阶时、频移算子),揭示了它们与分数傅里叶变换的内在联系,从而为分数傅里叶变换基础理论问题的研究提供了一种直观的、本质的基于算子的解决方案。其次,利用分数阶时、频移算子,在继承经典卷积基本性质的基础上,提出了一种广义分数阶卷积,并得到了相应的卷积定理,现有分数阶卷积大都为该广义分数阶卷积的特例,从而解决了分数阶卷积的统一定义问题。同时,提出了广义分数阶相关及其定理,并分析了广义分数阶相关与分数阶能量谱/功率谱之间的关系,进而得到了线性系统的响应、激励及其传输函数的分数阶能量谱/功率谱间的关系。接着,针对现有时宽-带宽积的分数阶不确定性原理只适合单一信号(实信号或复信号)的问题,基于导出的分数阶频率算子提出了适合任意信号的分数阶不确定性原理,解决了分数阶不确定性原理的统一表述问题,并揭示了实信号和复信号具有不同最小不确定性乘积的本质原因。特别地,从通信信号的角度提出了信号能量聚集性的分数阶不确定性原理,得到了信号能量最佳聚集的分数域(包括时、频域)具有唯一性的有用结论。最后,利用分数阶时、频移算子得到了分数阶Poisson求和公式及其对偶形式,并分析了它们与分数阶傅里叶级数的关系。　　讨论了基于分数傅里叶变换的信号滤波问题。首先,阐明了有关分数域滤波的几个基本概念,主要包括分数域无失真传输条件、分数域理想滤波器的特性、分数域滤波系统的物理可实现性以及级联分数域滤波器的实现。其次,针对现有分数域Wiener滤波存在的问题,建立了基于广义分数阶卷积的分数域Wiener滤波器设计理论,得到了分数傅里叶变换下滤波问题的Wiener解,从而解决了最小均方误差准则下基于分数域的最优滤波问题,并通过数值算例与现有分数域Wiener滤波方案进行了比较。最后,针对现有分数域匹配滤波存在的问题,利用广义分数阶卷积构建了白噪声背景下分数域匹配滤波器理论,并分析了分数域匹配滤波器的基本性质;进而又给出了有色噪声背景下广义分数域匹配滤波器的设计原理。所得到的结论对于设计分数域其他类型的滤波器具有重要的理论指导意义。　　针对分数傅里叶变换采样与重构理论在实际应用中存在的问题,提出了相应的解决方案。首先,考虑到现有时间有限信号分数阶采样定理在实际应用中面临的无法直接或准确获取信号分数谱的问题,提出了一种仅由时域采样值进行信号重构的分数阶采样定理。同时,注意到现有分数域带限信号多通道采样存在因谱泄露而造成信号失真的问题,提出了一种基于广义分数阶卷积的分数域带限信号的多通道采样定理。此外,认识到实际应用中并不存在严格的带限信号,分别在函数空间中Riesz基和框架下建立了适合任意信号的一般化分数阶采样定理,从而可以有效地解决分数域带限信号的采样定理在应用中因sinc插值函数的高旁瓣和低衰减速率而导致的较大计算开销和插值误差的问题。最后,考虑到在一些应用中往往只能获取信号在某一有限时间间隔内的值,提出了一种基于部分时域信息的分数域带限信号重构算法。与现有算法相比,该算法具有计算量、存储量小,信号重构精度高的特点。　　针对分数傅里叶变换在信号分析中的局限性,从联合时域和分数域信号表示的角度给出了相应的解决方法。首先,为了克服分数傅里叶变换缺乏时间和分数阶频率的定位功能,利用广义分数阶卷积从分数域局部化的角度提出了一种新的短时分数傅里叶变换,并详细阐述了它的基本原理,包括基本性质、定理、时间-分数阶频率的定位功能及分辨率等。其次,注意到短时分数傅里叶变换因信号加窗而造成的时间分辨率和分数阶频率分辨率相互约束的矛盾,利用广义分数阶相关和分数阶频率算子分别从瞬时分数阶相关函数和分数阶特征函数两个角度给出了二次型时间-分数阶频率分布的构造原理,并通过分数阶Cohen类分布、分数阶Wigner分布和分数阶模糊函数这三种典型的联合时域和分数域分布深入讨论了时间-分数阶频率分布的分析特点和性质。最后,针对短时分数傅里叶变换存在的前述矛盾以及时间-分数阶频率分布因信号的二次型变换引入的交叉干扰项问题,从分数域伸缩滤波组的思想出发,利用广义分数阶卷积提出了一种新的分数阶小波变换,并系统地建立了分数阶小波分析理论,主要包括基本性质及定理、逆变换及容许性条件、重建核与重建核方程、联合时间-分数阶频率分析、分数阶多分辨分析与正交小波构造理论以及分数阶小波采样理论。同时,还讨论了分数阶小波变换在信号去噪和线性调频信号时延估计中的应用。　　探讨了分数傅里叶变换在通信抗干扰和提升系统用户容量中的应用。首先,导出了正弦信号和线性调频信号在变换域(即频域和分数域)上的对偶关系,并讨论了基于变换域实现这两类信号分离的理论条件,同时分析了当它们的分数谱存在混叠时在变换域进行信号分离的性能。接着,利用正弦信号和线性调频信号在变换域的特征参数的差异性,提出了一种基于分数傅里叶变换的通信干扰抑制方案,建立了系统模型,并给出了理论分析和仿真验证;最后,在阐述分数阶频分多址概念的基础上,提出了一种基于分数傅里叶变换多域联合处理以提升通信系统用户容量的方案,建立了系统模型,给出了理论分析,并进行了仿真验证。研究结果表明,分数域信号设计及滤波处理是提升通信抗干扰性能及系统用户容量的一种具有潜力的策略。该部分内容是本文所提理论方法在通信工程应用中的初步尝试,在此基础上后续将会作进一步深入研究。