高增益自由电子激光(FEL)已被证明可用于产生功率高、相干性好、波长可调，时间结构优异的短波长辐射脉冲。这些特性使得高增益FEL在物理、化学、材料、生命科学等诸多领域都有非常重要的应用。高增益FEL物理的核心在于其运行机制，目前人们已经提出了多种FEL运行机制，其中自放大自发辐射(SASE)机制和高增益高次谐波放大(HGHG)机制是将高增益FEL推向短波长的可行技术路线，且都已经为实验所证实。然而，这些运行机制本身存在固有的缺点:SASE由电子束的噪声起振，这导致了其最终辐射脉冲的纵向相干性较差，中心波长和输出脉冲能量也不稳定;HGHG机制能够产生全相干的FEL，但由于受到能散的限制，单级HGHG的谐波转换效率有限，很难用于产生X射线波段的辐射。为改善这些运行机制的缺点，同时满足FEL用户日益增长的新需求，新运行机制的提出和验证一直是高增益FEL研究领域中的热点问题。在此背景下，本论文在理论和实验两个方面对高增益FEL的新机制进行了较为深入的研究。　　 在理论方面，本文首先系统研究了电子束的相空间操控技术，并在此基础上提出了一些新的FEL运行机制，其中包括预聚束增强运行机制，EESHG运行机制，谐波锁模运行机制，啁啾相干谐波脉冲放大机制和基于发射度破坏的双色FEL产生机制。这些新机制分别可用于产生波长更短、功率更强、脉冲更快和双色的FEL以满足用户的需求。其中预聚束增强运行机制可用于增强HGHG或回声增强高次谐波放大(EEHG)的高次谐波群聚因子，通过模拟发现，预聚束增强型的EEHG可将超高次谐波的群聚因子提高两倍左右，这使得采用单级EEHG产生全相干“水窗”波段的辐射成为可能;EESHG机制在结构上将一级EEHG和一级HGHG级联，通过合理地设计种子激光和电子束的参数可以使第二级的HGHG也运行在EEHG模式下，这样大大提高了两级级联的谐波转换次数，为产生相干性好的硬X射线辐射提供了一种可能的技术路线;谐波锁模运行机制利用锁模波荡器来放大超短脉冲辐射，可用于产生稳定的阿秒量级脉冲串的结构，且脉冲串之间的间距可以通过微调种子激光波长的手段进行大范围调谐;啁啾相干谐波脉冲放大机制结合了常规激光中的脉冲啁啾放大和FEL中的谐波转换技术，可以将外种子型FEL的辐射脉冲压缩一个量级以上。由于这种运行机制不需要在电子束中加入能量啁啾，所以将很适合用于增强第三代同步辐射光源的峰值亮度;基于发射度破坏的双色FEL产生可用于产生飞秒到亚飞秒量级的硬X射线双色FEL，目前我们提出的双色FEL的机制已经为LCLS上的实验所验证。另外本论文还研究了外种子型FEL中的一个热点问题:种子激光引入的相位误差在FEL谐波转换过程中的放大机制，提出了考虑滑移效应时的能量调制新模型，并用此模型给出了消除相位误差的优化条件，提出了采用次谐波调制段来进一步改善输出辐射脉冲相干性的新方法。　　 在实验研究方面，本论文主要研究了在上海深紫外自由电子激光(SDUV-FEL)装置上展开的EEHG和级联HGHG的原理验证性实验。由于开展EEHG实验需要精确地了解电子束切片能散和能量调制深度的信息，本论文首先提出了一种基于相干谐波辐射来精确测量电子束切片能散的方法，并在SDUV-FEL上对此测量方法进行了实验验证。实验测得电子束的切片能散约为1.2keV，并同时得到了种子激光的调制深度的信息。这种新的测量方法在接下来的EEHG和级联HGHG实验的设计和实验中都得到了很好的应用。在EEHG实验设计中，我们分析了HGHG和EEHG对电子束能量啁啾的不同响应，并给出了EEHG对能量啁啾无响应的条件。以此为基础，我们基于SDUV-FEL的参数给出了实验设计方案并按照此方案成功开展了世界首个EEHG的出光实验，各项实验结果与理论和模拟的结果都得到了很好的符合。在级联HGHG实验的设计中我们提出了基于电子束能谱验证“新鲜束团”技术的方法，这种方法在FERMI的HGHG实验中得到初步证实。我们分析了级联HGHG的实验结果，研究了滑移效应对谐波辐射相干长度的影响，模拟了级联HGHG的整个物理过程，较好地解释了实验现象。