近些年来,在“宽带中国”战略、“互联网+”行动计划及5G技术的持续推动下,移动互联网、云计算、物联网、视频等业务迅速发展。光通信网络为适应新网络形势下大带宽和海量连接的特点,对底层承载网在容量和灵活性方面提出了新的需求,这给传输中和网络节点处的信号处理技术带来了很大的挑战。目前光通信网络的信号处理由微电子技术主导,但是依靠缩尺效应来提高集成电路处理速度的方法已慢慢趋向于理论上的极限,有限的电处理速率难以适应未来超大容量灵活光网络发展的需求。全光信号处理技术能够打破电子速率瓶颈的限制,避免冗余的光电光转换,充分发挥光纤通信网络中光的优势,是未来光网络发展的关键所在。本论文以超大容量灵活光通信网络的发展需求为依据,围绕全光矢量信号处理技术展开研究,提出面向高阶调制格式信号的全光再生方法、多样的全光聚合与解聚合方法、面向全光信号处理领域的宽带高非线性微腔的设计方法,主要学术研究工作及创新点如下:（1）提出了一种基于两波PSA的高阶MPSK信号的全光幅相同时再生方法。针对现有相位敏感放大技术（Phase Sensitive Amplification,PSA）在多进制相移键控（Multi Phase Shift Keying,MPSK）信号再生问题上存在的相位依赖幅度噪声转换缺陷,本文提出了面向携带放大器自发辐射噪声（Amplifier Spontaneousemission Noise,ASE）的 MPSK信号的两波 PSA再生方法,实现了 MPSK信号的全光幅相同时再生。仿真结果表明,所提再生方案的中继性能优于现有的两波和三波PSA再生方案。（2）提出一种无信息丢失的8PSK信号向QPSK信号的全光解聚合方法。针对基于四波混频（Four-wave Mixing,FWM）原理的8PSK信号向QPSK信号全光转换中存在信息丢失的问题,本文提出了基于四阶PSA原理的无信息丢失全光解聚合方法。仿真结果表明,解聚合后的两路QPSK信号保留了 8PSK信号的全部信息,受益于PSA的相位压缩作用,在相同误码率（Bit Error Rate,BER）下,解聚合QPSK信号接收光信噪比（Optical Signal-to-Noise Ratio,OSNR）相对于8PSK信号改善了约5dB。（3）提出了两种全光聚合与解聚合方法。针对全光聚合技术和全光解聚合技术相互独立,难以配合应用的现状,本文先后提出了两种全光聚合与解聚合方法:a)提出了一种面向QPSK信号和振幅键控（Amplitude Shift Keying,ASK）信号的全光聚合与解聚合方法。仿真结果表明,所提方法可以实现QPSK信号和ASK信号向两种八进制正交幅度调制（8-ray Amplitude Modulation,8QAM）信号的全光聚合与反向的全光解聚合;b)提出了一种面向二进制开关键控（On-Off Keying,OOK）信号和任意MPSK信号的全光聚合与解聚合方法。以M=2和M=4两种情况为例,仿真结果表明,所提方法能够分别实现OOK信号和BPSK信号向QPSK信号、OOK信号和QPSK信号向8PSK信号的全光聚合以及对应的反向全光解聚合。（4）提出了一种面向全光信号处理的宽带高非线性微腔的设计方法。针对高非线性微腔的窄腔膜特性无法处理宽带信号的问题,本文提出了适用于全光信号处理的宽带高非线性微腔的设计方法。以非线性微环腔和微瓶腔为研究对象,理论推导了固定宽带条件限制下微腔非线性效率的优化条件,确定了宽带高非线性微腔的物理特性。完成了基于宽带非线性微腔的全光信号处理仿真平台设计,并在此平台上分别验证了宽带高非线性微环腔和微瓶腔的高效FWM效率,为小型化光学功能器件的发展提供了一定理论指导。