在星潜通信系统中，为了得到在高背景噪声下对弱信号光的提取，光学滤波在其中起着非常重要的作用。法拉第反常色散光学滤波器（Faraday Anomalous Dispersion Optical Filter，简称FADOF），是一种高性能的光学滤波器，具有超窄带宽、高透过率、透射波长无漂移、视场角大等特点。本文对法拉第反常色散光学滤波器进行了理论和实验研究，主要包含以下几个方面：首先，我们介绍了法拉第反常色散光学滤波器的工作原理，FADOF是基于Zeeman效应以及法拉第反常色散效应两种机制实现滤波输出的。采用半经典理论对法拉第反常色散光学滤波器进行理论分析，给出FADOF的理论模型，得到透过率表达式。其次，我们对基态法拉第反常色散光学滤波器FADOF分别进行了理论和实验的研究。在理论上系统地研究了温度条件以及磁场条件等工作参数的变化对滤波特性的影响，有线芯和线翼两种工作方式；在实验上对87Rb D1线795nm FADOF进行了研究，得到带宽约220MHz的滤波透过谱线，透过率为50%。最后，我们对基于电磁感应光透明的法拉第原子滤波器进行了理论和实验的研究。采用半经典理论，通过求解三能级系统密度矩阵方程以及透过率方程，得到基于电磁感应光透明的法拉第原子滤波器的理论模型。实验上以小角度交叉的光路实现基于电磁感应光透明的法拉第原子滤波器的滤波输出，滤波线宽约15MHz，透过率约8%，并且透过谱线在多普勒范围内可调谐，实现了单峰超窄带的滤波。