先进调制码技术是推动高速光通信网络向长距离和大容量发展的关键技术。研究新型调制码的应用对提升通信网络运行的有效性和可靠性,对降低通信网络的运营成本和结构复杂度,对促进通信网络的“三网合并”和“光进铜退”具有十分重要的理论价值和实际意义。本论文着重探索了若干新型调制码在高速光信号传输系统中的应用,同时研究了某些新型调制码在宽带光标记交换网络中的应用。作者的主要工作及本文的主要贡献如下:第一,提出并证明了三种适合于常规光信号传输系统的新型调制码,包括:改进型光双二进制码、暗脉冲归零码、基于暗脉冲归零码的正交调制码。首先,通过对编解码过程的分析,证明改进型光双二进制码在传输时能减小码间干扰的影响,能用传统的二进制强度调制-直接检测(IM-DD)系统的接收机检测信号。数值模拟结果表明:采用色散补偿技术能使MD-NRZ和MD-RZ信号在传输后克服接收眼图失真;相对于MD-NRZ信号,MD-RZ信号在传输后有更低的误码率和更高的接收灵敏度。实验中通过调节电信号时延器比较了不同占空比MD-RZ码的光谱特性。其次,提出了一种采用相位调制器和马赫-曾德尔(DL-MZ-I)干涉仪产生暗脉冲归零码(dark RZ)的新方案。通过对调制和编解码过程的理论分析,证明了该方案产生的暗脉冲归零码信号的占空比和消光比可调,并且指出了解码的最佳判决门限值。实验结果表明,该方案产生的暗脉冲归零码信号有较高的频谱效率,可以增加光传输系统的通信容量,而且也适应于长距离通信。最后,提出并证明了一种新型正交调制码的产生方案。本方案产生的正交调制码占空比和消光比都可以在光信号域调节,并有较高的频带利用率。我们成功地将10Gbit/s的dark RZ码叠加到10Gbit/s的差分相移键控码(DPSK)上进行了正交调制,这种正交调制码经过124km的长距离传输后,分别检测dark RZ码和DPSK码后比较了两种码型抵抗剩余色散和非线性负面效应的能力。第二,在对四种传统的级联相位调制码进行100Gbit/s传输性能研究的基础上,提出和讨论了四种新颖的相位调制码,它们包括:光交错相移键控非归零码(NRZ-SDPSK)、50%占空比的光交错相移键控归零码(RZ-SDPSK)、占空比为33%的RZ-SDPSK码、占空比为67%的CSRZ-SDPSK码。研究表明,当四种传统的级联相位调制码通过106km长距离传输后,在入纤功率相同的条件下,差分四相相移键控非归零码(NRZ-DQPSK)具有最高的色散容限;仅仅考虑一阶偏振模色散,差分四相相移键控归零码(RZ-DQPSK)具有最优的抗偏振模色散特性;当入纤功率在0～10dBm的范围内调节时,差分相移键控归零码(RZ-DPSK)具有最好的非线性容忍度;通过滤波器带宽值大于125GHz三阶高斯滤波器后,差分相移键控非归零码(NRZ-DPSK)的接收性能最佳。然后,提出了两种应用于100Gbit/s传输的新相位调制码型—NRZ-SDPSK码和50%占空比RZ-SDPSK码的产生和检测方案。与传统的四种级联相位调制码型进行长距离传输特性比较后证明:基于NRZ码和50%占空比RZ码的SDPSK码和相同包络的DPSK码具有几乎相同的色散容限和一阶偏振模色散容限;基于NRZ码和50%占空比RZ码的SDPSK码比有相同包络的DPSK码和DQPSK码具有更高抵抗非线性负面效应的能力;经过带宽值大于125GHz的三阶高斯滤波器检测光信号,50%占空比的RZ-SDPSK信号的接收性能最佳。在此基础上,进一步提出了占空比为33%的RZ-SDPSK码和占空比为67%的CSRZ-SDPSK码的产生和检测方案。比较研究两种100Gbit/s光信号的中距离传输特性后得出:在不能进行一阶偏振模色散补偿和具有低带宽值光带通滤波器的城域网络中,占空比为33%的RZ-SDPSK码更适合于单信道传输;占空比为67%的CSRZ-SDPSK码能较好的抵抗剩余色散并具有较高的非线性容忍度。实际中,必须选择带宽值大于100GHz的三阶高斯滤波器滤波才能有效地恢复时钟信号。第三,在宽带标记交换网络中,提出采用两种新颖的调制码(MD-RZ码和dark RZ码)作为正交调制标记信号。首先,提出采用不同占空比的MD-RZ信号作为标记,分别采用NRZ-DPSK信号和NRZ-DQPSK信号作为载荷进行正交调制的新方案。比较了背对背系统中2.5Gbit/s的MD-RZ标记叠加到10Gbit/s的NRZ-DPSK载荷和20Gbit/s的NRZ-DQPSK载荷上的频谱特性,证明了MD-RZ标记占空比越大,光分组信号的频带利用率越高。结果表明:若采用色散补偿技术,两种光分组信号中MD-RZ标记能够在长距离传输后克服接收眼图的失真;当入纤功率值高于18dBm时,占空比取值越大,MD-RZ标记的眼开度代价具有越高的传输鲁棒性。其次,在对调制和编码过程改进的基础上,提出了利用一个双臂铌酸锂M-Z调制器和一个电信号时延器产生可调占空比和消光比的dark RZ码的新方案。实验证明这种信号能用传统的二进制强度调制-直接检测系统的接收机进行检测。比较了调节电信号时延器时速率为2.5Gbit/s的dark RZ码标记随电信号时延而改变的频谱变化规律,实验得到了占空比分别为0.25,0.35,0.6和0.8时dark RZ码标记的误码率和眼图。第四,通过解析方程、数值模拟和实验验证了光载波抑制和分离(OCSS)技术的产生机理;然后提出并实验研究了两种基于OCSS技术的标记交换新方案:将9.3Gbit/s幅度调制的载荷和2.5Gbit/s幅度调制的标记封装成光分组信号,在普通单模光纤中传输80km后完成了标记和载荷的分离检测,研究了9.3Gbit/s幅度调制的载荷信号的传输特性;将100Gbit/s的RZ-DQPSK载荷信号和3.125Gbit/s的强度调制标记信号封装成光分组信号,采用前置色散补偿的方式传输240km经过三个交换节点后完成了标记和载荷的分离检测,研究了100Gbit/s的RZ-DQPSK载荷信号的传输特性。