由于工程电磁场应用需求的提高,不断追求高效而精确的数值分析方法成为计算电磁学领域一直以来的研究工作重点。本文针对矢量有限元方法、边界积分方法及其混合算法开展了一系列研究工作,重点研究了这三种数值方法在电磁散射问题分析中的应用。本文首先从矢量有限元基本原理出发,研究了高阶单元以及高阶叠层基函数的引入对数值精度的改善效果。针对高阶有限元中求解稀疏矩阵的问题,发展了两种混合预条件技术用于加速Krylov子空间迭代算法,一种是基于偏移Laplace算子与不完全Cholesky分解(IC)的预条件技术,另一种是将基于高阶叠层基函数的多重网格算法与FGMRES算法相结合的加速技术。其次将高阶矢量有限元方法结合完全匹配层(PML)技术应用于电磁散射问题分析。为了有效降低有限元计算区域,发展了一种基于高阶单元的局部共形PML技术,它能够贴近复杂结构散射体的外廓形状设置截断区域,同时保证对复杂几何边界的拟合精度。有限元方法用于分析开域问题时,截断边界的设置往往由于其近似性会影响到对散射特性的精确分析,因此广泛采用的是边界积分方程类方法分析散射问题。但是由于该类方法分析开放结构的电磁散射时矩阵性态差,迭代收敛效率很低。本文研究了两种预条件技术用于加速该类方法的迭代求解。一种是基于多分辨基函数及其特征谱信息的双步预条件技术,利用多分辨基函数的分层特性,用粗层获得的特征谱信息构造预条件矩阵,优化基于多分辨基函数的预条件性能。另一种为基于高阶单元的Calderon乘式预条件(CMP)技术,利用EFIE积分算子的平方项不会出现特征值聚集在零和无穷大的情况,使得阻抗矩阵不依赖离散密度且有良好的矩阵性态。本文最后一部分针对有限元-边界积分混合算法做了一些研究。首先将基于散度共形和旋度共形的高阶叠层基函数引入到该混合算法中,提高了数值仿真的精度。根据有限元与边界积分对网格离散要求存在的差异性,以及高阶叠层基函数的叠层特性,发展了一种高阶FE-低阶BI的混合阶FE-BI算法,可以有效地降低未知量和提高计算精度。其次利用有限元能够灵活处理复杂媒质(如各向同／异性、双各向同／异性媒质),成功地将FE-BI方法用于分析含复杂媒质目标的散射特性。利用边界积分对格林函数的依赖,结合实镜像快速多极子实现对半空间环境下目标的散射分析。最后构造了一种由有限元矩阵和边界积分近场部分组成的高效预条件技术。该预条件矩阵可以很好的近似待求解矩阵,并且易于构造,加速对半空间散射问题分析时的迭代求解。由于预条件后的FE-BI求解过程中,需要进行预条件矩阵求解,因此在有限计算平台下,研究了SSOR、ILU(0)、ILU(1)、ILUT等预条件GMRES在FE-BI内迭代求解中的收敛表现。同时也在计算平台允许的情况下,将一种基于H-matrix的快速直接求解算法引入到内迭代求解,分析了其内存消耗和计算复杂度等特性,相比其他求逆的直接算法,其在计算时间和内存消耗上具有一定的优势。