传统的基于导频辅助的信道估计方法需要使用大量导频从而导致低频谱利用率,且没有充分考虑到信道稀疏性。在宽带无线通信系统中将压缩感知(Compressed Sensing,CS)应用在导频辅助的稀疏信道估计中具有更少的导频开销且性能更好,基于CS的信道估计目前已经被广泛研究,许多稀疏信号恢复算法已经应用于信道估计。稀疏信道估计的另一个研究焦点是对导频位置和符号取值的设计。本文主要研究正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)系统和多输入多输出正交频分复用(Multiple-Input Multiple-Output Orthogonal Frequency Division Multiplexing,MIMO-OFDM)系统中基于CS理论的稀疏信道估计及导频图案优化问题。主要贡献有:1)针对基于CS的OFDM信道估计中的导频图案设计问题:对比现有的几种搜索算法,通过仿真比较其优化导频图案的优劣,得出基于顺序随机搜索方案(Stochastic Search Schemes,SSS)较优;提出一种基于树状随机搜索算法(Tree-based Stochastic Search,TSS),并通过仿真比较了TSS和SSS算法的性能。仿真结果表明,TSS算法进行导频图案设计使用的时间较SSS算法略短,且获得的导频图案用在系统中具有更小的信道估计均方误差(Mean Squared Error,MSE)和系统误比特率(Bit Error Ratio,BER),在高信噪比处均方误差改善约2-4d B。2)针对基于CS的MIMO-OFDM信道估计中的导频图案设计问题:将TSS算法进行改进得到多天线树状随机搜索算法(Tree-based Stochastic Search in Multiple-Antennas,TSS＿MA),使其能够获得MIMO-OFDM系统中的多根发送天线的导频图案。与现有的扩展顺序随机搜索(Stochastic Search Schemes Extension Scheme,SSS＿ES)算法进行对比,仿真结果表明,使用TSS＿MA算法相比于SSS＿ES算法能获得更小的恢复矩阵互相关值,信道估计性能略优。3)基于扩展准则2(Extension Scheme 2,ES2)选择出来的导频图案集合可能存在部分天线上导频图案对应的恢复矩阵互相关值仍旧过大,因此我们改变导频优化准则为:在确定好其他天线的导频图案选择的基础上使得待优化天线的互相关值最小,基于新的准则提出一种层优化(Layer Optimization Search Schemes,LOSS)算法,对比TSS＿MA算法、SSS＿ES算法,在低循环次数下时间复杂度更低,且信道估计均方误差和系统误比特率性能更好。