随着无线通信的迅速发展,用户数据量骤增以及无线频率资源的紧张,引发了许多通信中的问题。首先是由于多径和高速移动造成的时频双选择性衰落信道,会对信号带来严重的损伤,带来误码率上升及延时等问题。其次,由于无线通信的传播媒介的空间特性,以及通信信号的广播特性,使得信号容易被窃听接收机截获,然后窃取相关的数据,严重威胁到了用户的隐私。针对上述的两类问题,加权分数傅里叶变换作为一种新兴的信号设计与处理手段,已经被证明具有一定的应用前景。这主要是由于加权分数傅里叶变换将信号变换到分数域,改变了信号在时频平面上的能量分布,使得信号具有了一定的抗时频干扰的能力,以及隐蔽通信能力。而从本质上来说,这种分数域信号的优异特性,来源于加权分数傅里叶变换提供的丰富的信号形式。因此,从丰富定义形式入手,本文首先对加权分数傅里叶变换进行了推广,提出了4种新的边界值条件拓展的广义加权分数傅里叶变换。分析研究了广义加权分数傅里叶变换的相应原理与基本性质,总结归纳了各项参数对广义加权分数傅里叶变换信号的影响。最终本文希望通过完善扩充广义加权分数傅里叶变换理论体系,为以后的潜在应用奠定理论基础。基于提出的广义加权分数傅里叶变换,本文进一步设计提出了一种单载波与多载波交叉调制多天线通信方案——交叉调制系统。该系统本质上也是混合载波体制,但是其特点在于将两个输入信号的单载波成分与多载波成分进行分离与重新组合。进而,本文在时频双弥散信道下,验证了这种混合载波体制信号可以取得优于传统单载波、多载波信号的误码率性能。最后,本文在物理层安全中的经典窃听信道模型下,分析了广义加权分数傅里叶变换信号的在物理层安全通信方面的性能,主要包括保密容量、误码率、抗参数扫描能力等等。研究表明,广义加权分数傅里叶变换相对于传统加权分数傅里叶变换,其安全性能要更加优越。