高功率、短波长自由电子激光,已成为现代科学研究越来越重要的工具,特别是相干X光源,将使自然科学的发展进入一个全新的领域。短波长自由电子激光的基本运行模式主要有Seeded FEL和自放大自发辐射(SASE)两种。但是这两种模式都有各自的优势和缺陷:SASE可以达到X波段,但是其纵向相干性不佳,而Seeded FEL虽然相干性很好,但是受种子激光波长限制,目前很难达到硬X射线波段。目前,全相干的短波长自由电子激光是国际上研究的重大热点,针对以上形势,我们也开展了对Seeded FEL和SASE FEL的一些相关物理问题的研究。本论文首先对FEL的发展历史,工作模式和发展趋势进行了回顾和总结;并介绍FEL基本理论和数值模拟软件。在掌握FEL物理研究方法的基础上,本论文追踪国际前沿,首先对两种新近提出的HGHG改进模式:增强型HGHG(EHGHG)和回波型谐波放大FEL(EEHG)的参数敏感性进行了系统研究,以期充分了解这两种运行机制的特性,并使其性能达到最佳,向更短波长方向拓展。介绍了增强型HGHG的基本原理,比较了相同输入参数条件下EHGHG与HGHG的辐射结果。然后研究了能量失谐用以增强输出辐射功率,并给出了最佳能量失谐半定量的公式。紧接着研究了一些主要系统参数的敏感性,如初始电子束能散,种子激光功率,色散段强度,以及相移大小等,并在输入参数相同的情况下,与HGHG的情况做了比较。结果表明EHGHG的参数敏感性要低于传统HGHG模式,尤其对于初始电子束能散,EHGHG的容忍度要大。这为今后实际中运行EHGHG机制的FEL装置的参数选取和优化提供了重要指导。最后给出了两种机制的辐射带宽比较,增强型HGHG的辐射带宽也要小于HGHG模式。阐述了回波型谐波放大FEL的基本原理,接着给出了谐波聚束因子和辐射段饱和功率对主要装置参数和束流参数变化的敏感性。结果表明聚束因子和饱和功率对装置参数较为敏感,尤其是色散段强度,但是仍在可接受范围。另外,我们研究了相干同步辐射效应,对EEHG机制中色散强度很大的第一个色散段的相干同步辐射效应可能会引起的能散和发射度的增长进行了理论估算和数值模拟,结果说明此时的能散增长不会破坏相空间的回波型结构。最后我们给出了EEHG的辐射带宽。这些工作使我们加深了对EEHG机制的理解,并为运行EEHG机制FEL装置的参数选取和优化提供参考。我们还对采用GENESIS程序模拟FEL时的粒子数收敛问题进行了简单的研究。然后针对短波长SASE-FEL的纵向相干性不佳,研究了多种变参数波荡器的辐射特性,以改善短波长SASE-FEL的辐射谱,增强其纵向相干性。从理论和数值模拟两方面研究了多种变参数波荡器的辐射特性,包括正向线性锥化和平方锥化型、正向step型以及反向锥化型。结果表明,这四种波荡器都能在各自参数优化时提高辐射功率,尤其以正向平方锥化的效果最为显著,但是仅有正向线性锥化能够显著改善SASE辐射谱。正向线性锥化能使辐射谱中心波长上的辐射强度大大增强,以致仅有一个尖峰非常突出,边带辐射强度很小。在此基础上,我们提出了“step+taper”型和“锯齿”型波荡器。它们也被证实在适当选取参数时能够显著改进SASE辐射谱:辐射谱整体向中心波长更加集中,同时边带辐射强度受到强烈抑制,近乎消失。这些对SASE辐射谱的改善将大大增强其纵向相干性,向全相干X光源又前进了一步。