无线网络在带给人们方便快捷的数据传输同时，无线信道的开放特性也决定了其在安全方面的脆弱，如通信内容易于被第三方窃听和篡改，以及通信双方的身份假冒等。因此，宽带无线通信系统朝着更快、更方便、更灵活方向发展的同时，如何确保传输信息的安全性成为其演进过程中非常重要的一环。随着大规模集成电路技术的高速发展，芯片运算能力的大幅提升，通信设计者可以在物理层进行更加复杂的实时运算，因此物理层安全技术的研究在近年来得到了更加广泛的关注和重视。物理层安全技术的其中一类方法是引入复杂的信号映射运算，增加非合作接收方对通信参数估计的难度，从而使得非合作接收方难以对通信内容进行窃听和破译。本文研究了一种基于分数阶傅里叶变换的多载波通信系统，讨论了该系统同步和信道估计方法，并对其物理层安全特性进行了分析。分数阶傅里叶变换是常规傅里叶变换的通用形式，常规信号通过分数阶傅里叶变换处理，可以得到一种类似OFDM信号的多载波调制输出，且调制解调过程涉及较多变换参数，参数一致情况下才可正确解调。以此为背景，本文主要完成了以下研究内容：(1)基于对分数阶傅里叶变换理论的深入理解，研究了其离散算法，通过对比分析从中选出了一种具有可逆性的快速算法，并构造基于该算法的多载波调制系统仿真模型。(2)针对上述多载波系统，研究了其同步及信道估计方法，并与传统的正交频分复用系统进行对比，在多径信道环境下进行仿真，研究其性能。仿真结果表明，该系统具有更强的抗多径能力。(3)针对系统所使用的离散分数阶傅里叶变换涉及较多的变换参数，推导了接收端参数误差对系统接收性能的影响，并进行了相关的仿真验证。结果表明非合作接收方必须非常精确地估计发送端变换参数才能获得较好的接收性能，证明了该系统具有良好的抗截获能力，具备安全通信应用前景。