随着科技的进步,在5G、云计算等前沿技术不断发展背景下,不断增长的互联网流量一直推动着通信技术的发展,同时人们对通信容量的需求日益增加。作为用于通信领域实现功率高效和频谱高效的一种技术,相干检测与数字信号处理相结合已遍及各种先进的光学传输系统,同时先进的调制格式如QAM调制等已被广泛应用以提高频谱效率。但是在高速光通信系统中,采用传统均匀信号传输的QAM调制的系统容量与香农容量极限之间依然存在差距。根据香农理论,通过令星座图中各个信号点概率分布近似于高斯分布,可使系统传输容量逼近香农限,由此发展起了星座整形技术。星座整形技术主要有对改变信号概率分布的概率整形技术以及星座结构进行调整优化的几何整形技术,对提升系统传输容量、提高系统抗干扰性能具有显著研究意义。论文研究了概率整形技术及几何整形技术的关键原理。在此基础上主要研究了基于霍夫曼编码的概率整形结合几何整形信号产生方案、概率-几何混合整形的新型QAM信号产生方案和星座几何概率混合整形密集子载波信号产生方案。论文的主要研究内容及创新点如下:（1）研究了采用霍夫曼编码的概率整形技术,提出了一种基于霍夫曼编码的概率整形结合几何整形信号产生方案。方案采用霍夫曼编码得到11QAM非等长码字,结合块交织器进行交织编码调制产生1 1个非等概11QAM信号,并且对星座结构优化改进。仿真结果得到,该方案误码性能相比于传统PS-9QAM、传统均匀8QAM信号产生方案有明显优势。实验结果表明,所提方案与传统均匀8QAM与传统非均匀9QAM相比误码性能提升2.9dB和1.2dB,验证该方案具有明显的性能优势。（2）研究了采用分布匹配器的概率整形技术,提出了一种基于概率-几何混合整形的新型QAM信号产生方案。在该方案中,针对几何概率混合整形技术特性,设计了一种能够有效提升概率整形后传输性能的星座几何优化方案,将信号采用分布匹配器概率整形后,映射到几何整形星座上进行传输。所提方案与传统结构相比在不同整形条件下皆具有更大的最小欧几里得距离。通过仿真得出,所提新型概率几何混合整形16QAM信号产生方案相比传统矩形概率整形16QAM方案误码性能提升,且当整形程度越大,其性能增益越大。此外,所提方案具有更高的广义互信息（Generalized Mutual Information,GMI）值,能够有效改进系统容量与香农限差距。（3）研究了概率整形结合正交频分复用技术,提出了一种基于星座几何概率混合整形的密集子载波产生方案。在该方案中采用OFDM技术产生多子载波信号,在发送信号前采用滤波器对子带进行处理,接收端采用相似的滤波器滤波后进行信号处理;同时使用几何概率混合整形技术对信号优化。仿真结果得出,在熵值为3.5252bits/symbol时,所提F-OFDM几何概率混合整形16QAM子载波产生方案相比OFDM传统矩形PS-16QAM多载波产生方案相比具有3.2dB的误码性能增益,与OFDM传统矩形均匀16QAM多载波产生方案相比具有5.3dB的误码性能增益。同时所提方案具有更高的GMI值,可以达到较高系统传输容量。因为其具有较低的带外功率泄露,在多子带传输多业务场景时具有明显优势。