涡旋光束,即携带轨道角动量(Orbital Angular Momentum,OAM)光束,因其特殊的相位结构在经典与量子领域具有重要应用,是近年来的研究热点。OAM作为光子的一个自由度,因其特殊的力学效应可构建无限维希尔伯特空间,因此在相干光通信、高维度量子信息和精密测量等领域具有巨大潜力,其特殊的相位结构和强度分布,在与物质的相互作用如成像、光镊和相位调控等方面取得重要进展和应用。在高维OAM非线性调控的研究中,由于OAM模式不匹配造成相互作用区光斑交叠不充分,以及高维OAM光斑较大引起功率密度下降,从而导致非线性作用效率降低等问题。本文从OAM光束本质出发,从线性和非线性两个方面研究OAM光束传播特性,针对大拓扑荷OAM光束演化问题,提出并实验验证利用4f成像法,将高斯型光强分布波源处成像至非线性晶体上,能够有效解决因大拓扑荷OAM光束演化造成的非线性效率过低问题。首先,从OAM光束定义和概念出发,在分析OAM光束产生方法的同时,利用群速度理论和结构光场波矢理论分别研究OAM光束传播速度,并利用自相关系统进行实验验证。其次,根据衍射积分理论分析OAM光束产生和传播演化。利用涡旋相位调制产生的轨道角动量光场演化模型,理论和实验研究了实际涡旋光场在产生、传输过程中的演化行为,发现不同拓扑荷涡旋光场在产生起始点均为高斯型分布,在传播距离小于0.01m以内,高维涡旋光场中心暗斑尺寸在百微米以下,因此以产生处为非线性作用区能够解决大拓扑荷轨道角动量非线性相互作用效率低下等问题,为高维轨道角动量光场实现高效率非线性调控提供重要依据。最后,以倍频为例,探究OAM光束传播过程中对非线性作用的影响,包括理论和实验分析倍频光束演化特性和拓扑荷对倍频效率影响。理论分析4f成像系统特性,并利用该系统将OAM波源作为基频光,能够有效减少不同拓扑荷OAM光束光斑大小对倍频效率的影响。