深空通信系统是一种容量大、距离远的通信系统。其信道不仅是功率和带宽受限的信道，而且是非线性信道。由于其信道的非线性，要求调制后的信号波形尽量具有恒包络特性。另外，因为深空的探测的的任务逐渐地加重，对通信系统的数据传输的速率的要求逐渐地加，射频频谱变得越来越拥挤，进而对调制解调的技术在功率利用率和频谱利用率等方面提出了更高的要求。在空通信中，调制解调技术是空探测的任务成败的关键点，故须研究适合于此通信的高效的调制解调系统的模型，还有适应于此模型的高效调制调的技术。为实现高效可靠的深空通信，满足未来深空通信系统的发展需要，本文针对具有高功率利用率和高带宽利用率的FQPSK信号和成形偏移四相相移键控（SOQPSK）信号展开研究。本文首先研究了FQPSK的格型编码调制（TCM）及其最佳接收机和简化维特比接收机；其次研究了MIL-STDSOQPSK的互相关格型编码正交调制（XTCQM）和格型编码调制，及其最佳接收机和简化维特比接收机；之后研究了二元CPM信号的脉冲幅度调制（PAM）表示式，并类推于三元CPM信号中，推导出MIL-STDSOQPSK的PAM表示式和SOQPSK-TG的近似PAM表示式；最后对SOQPSK-TG信号的简化状态解调算法进行了研究，仿真并分析了基于PAM技术的简化解调性能。