毫米波技术在高能电磁武器、空间探测、雷达跟踪、高速通信、电子对抗和气象预报等领域具有非常重要的应用。回旋行波管是一种基于电子回旋脉塞机理工作的电真空器件,由于其在毫米波乃至太赫兹低频段可以得到宽频带、高的效率和高功率的输出信号,已经成为目前的研究热点。随着工作频段的升高,为提高容量和降低工艺要求,现代先进回旋行波管多采用高阶模式（HOM）工作。然而高阶模式会导致模式竞争加剧,不稳定性因素增加,而稳定性因素是管子能否正常工作的关键,增大模式间隔是保持回旋管稳定工作的重要手段。此时具有模式选择特性的高频电路就脱颖而出。本文分析了多极异形波导、周期性光子晶体波导、开放式共焦波导等多种高频电路的色散特性方程和色散曲线,并把多极异形波导高频电路色散曲线的模式间隔与传统圆波导高频电路色散曲线的模式间隔进行了比较。同时,对建立的多极异形回旋行波管高频结构进行了PIC仿真,经过对各项参数的优化,最终产生了56 d B的增益和180 k W的输出功率。通过对封闭式多极异形波导、周期性光子晶体波导、开放式共焦波导结构进行详细的模式特征分析后,发现多极异形波导结构可以大幅提高模式间隔,提高低阶模式起振电流和起振长度,抑制了低阶模式的自激振荡,使得管子稳定工作。本论文的主要工作如下:1、理论研究了多极异形波导的色散方程,发现多极异形波导可以增加模式间隔的特点;通过理论研究给出了合理的参数值,该参数一定程度上避免了电子注与多个模式之间进行的能量交换,实现了寄生模式的有效抑制,最后给出了PIC模拟仿真验证实例。2、梳理了光子晶体色散方程的理论推导,对三角形晶格所组成的光子晶体结构进行了仿真分析,得出了W波段光子晶体高频结构中工作模式以及邻近寄生模式的色散曲线,证明了光子晶体可以在宽频带内实现竞争模式抑制。3、梳理了由准光理论推导的共焦波导的色散方程,利用模拟仿真对HE_0n模式的理论结果进行了验证。4、同时,对在90 GHz左右各种波导中模式间隔与传统圆波导模式间隔的分析研究可知,多极异形波导可以有效增大模式间隔,使得互作用更加稳定。