以石墨烯为代表的二维层状材料是一类新材料,体系丰富多样,结构独特,蕴含了丰富而新奇的物理化学性质,在电子、信息、能源等领域具有广阔的应用前景,是目前凝聚态物理等领域发展迅速和活跃的研究前沿之一。二维层状材料与光强相关的光学性能丰富了科学发展的领域,且非线性光学与激光物理联系紧密:一方面需要相干光源研究光与物质作用的基本原理,另一方面需要具有优异光学性能的材料来提高激光系统的性能。随着低维微纳光电功能器件发展,纳米材料和结构将成为未来纳米科技领域应用的基石,尤其是低维材料中由于量子限制效应引起的新的物理现象以及材料特性。以石墨烯为例,其优异的载流子迁移率、力学性能等在凝聚态物理及材料科学领域引起了广泛的研究兴趣并取得了巨大的进展。狄拉克锥的存在赋予了石墨烯许多新奇的物理现象和电子性质。石墨烯具有宽带可饱和吸收特性和调制深度可调、损伤阈值较高、恢复时间较短等光学特性,而且其非线性响应随波长增强。与石墨烯类似,类石墨烯二维层状材料,譬如过渡金属硫化物、拓扑绝缘体、黑磷等,也具有独特的宽带超快非线性光学特性,并且在超快光学和光子学器件中展现出巨大的应用潜力。本论文基于宽波段超快光学和光子学器件的应用需求,研究了石墨烯等二维层状材料的宽带超快非线性光学特性,同时探索研究了石墨烯、二维硫化钼等二维材料在特殊波段激光产生方面的应用潜力。主要研究成果如下:（1）首次基于超快Z扫描技术获得了石墨烯在中红外波段的非线性折射率,获得了其波长相关的超快非线性光学响应特性和变化规律。搭建并优化了中红外Z扫描非线性测量系统,用于表征材料三阶非线性极化率的实部和虚部。基于石墨烯材料开展了二维材料中红外非线性光学研究工作,通过Z扫描技术测量石墨烯的可饱和吸收特性以及较大的中红外非线性折射特性,利用时间分辨泵浦探测技术表征了价带和导带的超快载流子动力学。实验验证了石墨烯具有较大的品质因子,有望成为一种高效的中红外非线性光学材料。（2）首次系统研究了拓扑绝缘体碲化铋纳米片的宽波段三阶非线性光学特性,获得了其从近红外到中红外的非线性光学响应特性及变化规律。通过水热法合成获得了高质量的拓扑绝缘体碲化铋纳米片,并对其线性吸收,XRD,透射电镜,原子力显微镜,扫描电镜等进行了系统表征。实验表征结果表明,制备得到的碲化铋纳米片拥有完美的六边形的片状结构,单个纳米片尺寸为400-600 nm,样品厚度约为20 nm。通过钛宝石飞秒激光光源、通信波段皮秒光源、中红外波段皮秒光源对碲化铋纳米片的激发,实验获得了其宽波段的非线性光学响应特性。研究结果揭示了碲化铋纳米片不仅是宽带的饱和吸收材料,还是宽带的非线性克尔材料,且非线性响应随波长增加而增强。（3）研究了黑磷分散液的超快空间自相位调制现象,获得了其与光强、样品层数相关的非线性光学响应特性及调控规律。利用空间自相位调制现象对黑磷溶液的非线性参数进行了系统研究,超快的非线性响应以及相干衍射可以归因于黑磷样品较大的三阶极化率。不同浓度样品在1061 nm脉冲激光辐照下,衍射环的变化均经历逐渐增大,再塌缩最终达到稳定的过程。并且,浓度越大,形成衍射环所需时间越小,即非线性响应速度越快。通过有效层数估算,得到单层黑磷的有效折射系数为10-19 m2/V2。通过泵浦探测技术实验测得黑磷样品快弛豫时间和慢弛豫时间分别为0.13 ps和1.15 ps。因黑磷拥有与厚度有关的能带结构,层数对非线性响应影响极大。（4）实现了二维材料在1170 nm、1330 nm和1680 nm等特殊波段的锁模脉冲激光输出,进一步验证了石墨烯和MoS₂的宽带非线性光学特性。采用无带隙石墨烯和有能带的过渡金属硫化物MoS₂作为饱和吸收体,研究了其用于1170nm到1700 nm的宽带脉冲激光输出功能。采用15 m BiO8为增益光纤,石墨烯为饱和吸收体,获得中心波长为1332 nm,重复频率为2.8 MHz,脉宽约为100 ns的调Q脉冲。采用10mBiO4作为增益光纤,MoS₂为饱和吸收体,获得中心波长为1170 nm,重复频率为6 MHz的脉冲。采用线性腔设计,1m掺铥光纤为增益介质,MoS₂为饱和吸收体,获得中心波长为1680 nm、脉冲间隔为4.5μs的脉冲输出。此外,利用光纤中的非线性相移效应实现了等效饱和吸收被动锁模,系统研究了宽波段非线性锁模激光。