第五代移动通信所要求的“全方位、多样化的无线通信与网络服务的未来通信体制”对载波体系的需求是多种多样且因场景而异的,这意味着单一的调制模式已经不能满足5G通信的需求,需要不断探索全新的调制方案以应对5G更加复杂多变的场景模式。GFDM作为5G备用载波波形之一,相较于其它的非正交调制方案,由于其灵活的二维时频资源配置方式以及非正交滤波器的选取,满足可配置、易扩展、能够灵活进行自适应调节的特点;同时由于GFDM在结构上与OFDM的相似性,可以轻松支持MIMO,同时兼容4G与5G发展的需求,符合3GPP对5G发展所提出的战略部署,因此GFDM可以作为新型载波调制体系的技术实现方案。考虑到单载波调制与多载波调制各有优势,因此,设计一种可配置、易扩展的融合单载波与多载波的GFDM调制技术方案成为了5G载波调制的发展方向。本文通过对GFDM系统当前研究的梳理与总结,在多载波GFDM调制的基础上,通过对时域低复杂度GFDM调制模型的扩展,提出了针对GFDM的单载波调制模型,并通过对调制框架共性的研究,提出了一种可配置、易扩展的融合单载波与多载波的混合GFDM载波调制系统;在针对GFDM系统的干扰抑制方面,以时间弥散与频率弥散的双选择性衰落信道为应用背景,对混合GFDM调制系统接收端干扰抑制技术进行了研究;在给出时变多径信道的冲激响应模型,并对GFDM系统的载波间干扰分析的基础上,提出了针对GFDM系统的克服信道干扰的两种均衡技术;并参考5G新空口标准协议,设计了高速移动通信下针对GFDM的信道估计方案,完成了GFDM导频设计并提出了基扩展-二维时频滑动维纳滤波信道估计技术。在Matlab平台中对改进算法进行了仿真验证,并从误码率和均方误差两方面来验证所提算法的性能。本文所提出的混合GFDM调制载波系统及其干扰抑制技术进一步完善了5G波形备选方案,不仅针对移动宽带通信场景,同时由于其在配置上的灵活性,可以更进一步地适配于物联网及车联网,为更高需求的未来无线通信系统的物理层技术发展提供了备选方案。