基于光纤中非线性效应的光子学器件在光通信、光传感、制造业、医疗、军事等众多领域获得了非常重要的应用。由于石英光纤具有损耗小、机械强度高、成本低等特点，目前绝大多数光纤光子学器件都基于传统的石英光纤。但石英光纤有着自身难以克服的缺点，例如相对较窄的光学透过窗口（仅覆盖300-2500nm）、小的三阶非线性系数、较大的声子能量等，这在一定程度上限制了它的应用范围。为了克服石英光纤的这些缺点，拓展光纤及光纤器件的应用领域，探索新的光纤材料、光纤结构、新型光纤中的非线性效应及其应用具有重要的意义。在攻读博士期间，作者一直致力于这一前沿领域，围绕特种光纤中的非线性效应及其应用开展了系统性的研究：在中红外波段超连续光源、光孤子和超连续谱的产生和调控、光控群速度色散及其应用等方面取得了一系列具有创新性的研究结果。具体阐述如下：1.通过使用专业的光纤设计软件Mode-Solutions，设计出了无截止单模的碲酸盐和氟化物光子晶体光纤。模拟结果表明，当光纤纤芯变小时，零色散波长向短波长移动，非线性系数和受限损耗同时增大。2.针对1560nm超短脉冲激光泵浦单模氟化物光纤的超连续谱产生，我们从理论上探讨了泵浦条件和光纤长度对中红外波段能量转换效率的影响。理论模拟结果表明，当脉冲宽度为4ps、峰值功率为100kW、氟化物光纤长度为1m时，中红外超连续谱可展宽到5μm，并且能量转换效率可以达到44.6%。进一步，利用自己设计的氟化物光子晶体光纤，在理论上研究了调谐范围覆盖1.93-3.95μm的中红外宽调谐拉曼孤子，为宽调谐中红外脉冲激光的产生提供了理论依据和可行的实现方法。在实验上，用自制的1560nm飞秒激光泵浦5m长氟化物光纤，得到了覆盖1100-2800nm的中红外超连续谱，其平均功率约为400mW。3.在1560nm飞秒激光泵浦碲酸盐光子晶体光纤产生了孤子自频移的基础上，我们利用一束弱连续激光和飞秒激光之间的交叉增益调制实现了对光孤子波长的调控。当将1560nm弱连续激光的功率（1560nm）从0增大到1.17mW时，碲酸盐光子晶体光纤中产生的孤子从1935nm蓝移到1591nm。我们还研究了孤子波长对弱连续激光工作波长的依赖性。结果表明，波长在1530-1592nm的弱连续激光都可以用来调控孤子自频移的产生。4.通过弱连续激光与1560nm皮秒或飞秒激光之间的交叉损耗调制和交叉增益调制，我们在实验上实现了弱连续激光对1560nm超短脉冲激光泵浦高非线性石英光纤产生的超连续谱带宽的调控，即利用一束毫瓦量级的1530nm连续激光实现了超连续谱带宽的增大或减小。当掺铒光纤放大器（erbium-dopedfiber amplifier, EDFA）的泵浦功率低于181mW时，1530nm弱连续激光可用来增大超连续谱的带宽；当EDFA的泵浦功率约为181mW时，1530nm弱连续激光对超连续谱的产生影响很小；当EDFA的泵浦功率大于181mW时，1530nm弱连续激光对超连续谱产生有抑制作用。另外，我们还研究了弱连续激光功率对色散波的影响。实验结果表明，当弱连续激光的波长范围在1480-1540nm时，弱连续激光可以用来增强或抑制超连续谱的产生；当弱连续激光的波长在1540-1600nm时，弱连续激光只对超连续谱产生有抑制作用。5.利用高非线性碲酸盐光子晶体光纤中的光克尔效应，我们在实验上实现了光控群速度色散。当1560nm飞秒光纤激光的峰值功率增加到11.6kW时，通过孤子自频移抵消效应测得的零色散波长红移为307nm。光控群速度色散不仅为研制全光的光子学器件提供了一个新的原理性平台，而且将有助于发现新的非线性光纤光学现象。6.利用高非线性碲酸盐光子晶体光纤，我们在实验上发现了多孤子自频移抵消效应。在高非线性光纤中，具有一定时间间隔的多个基阶孤子可以通过光克尔效应产生各自独立的色散。当两个孤子在受激拉曼散射的作用下继续红移并碰到自己的第二个零色散波长时，它们可以产生独立的红移色散波。基于该效应，我们提出了时域色散剪裁光纤的概念。