作为时频分析领域的先驱,Gabor变换以具有良好时频聚集性的时频原子提供了信号的局部可视化特征,克服了傅里叶分析在时间和频率单一域上的模糊化缺点,将信号的两个重要属性紧密相连。随着信息化、智能化的时代变迁推动顶层设计向更高处更快地发展,深度学习算法为复杂的模式识别难题提供了新的解决思路,而Gabor变换与新兴的散射变换相结合搭建的时频散射网络既保留了深度神经网络的层级结构及对数据良好的自适应性,同时兼备系统的数学原理,在可解释机器学习算法中占据一席之地。然而Gabor变换的时频原子不具有时变特征,尽管足以提供平稳信号的代表性特征,但是难以适应复杂信号多样的时频结构,因此Gabor变换对非平稳信号的分析往往不尽人意,也由此导致了时频散射网络所提取特征的识别度并非最优。考虑到信号能量虽然在频域分散,但可能在分数域聚集,将其投影到分数域进行分析,可能会带来一定收益。因此本文面向非平稳信号的分数域特征表示展开,主要研究内容归结为以下几点:首先,为经典的Gabor变换引入方向性,将其推广至分数阶,基于框架理论分为临界采样、过采样和欠采样三种情况讨论分数阶Gabor变换的存在性、唯一性以及系数计算等基本原理,在仿真中对其时频结构进行分析。其次,基于分数阶Gabor变换提出分数阶Gabor散射变换,阐述其实现过程并给出卷积表达式。从数学上分析分数阶Gabor散射变换的基本性质,包括非扩张性、能量守恒、平移不变性和形变稳定性。这些性质为其能够获得具有高识别度的信号特征提供理论保证。最后,依据分数阶Gabor散射变换构建分数阶Gabor散射卷积网络,在仿真中对其传播过程及所提取的特征进行可视化描述,验证分数阶Gabor散射变换的理论性质,并将分数阶Gabor散射卷积网络在用于机械振动信号的分类问题,通过与其他相关分类方法进行比较,说明其在提取信号特征方面的优势。