海杂波是海洋表面对雷达信号的后向散射回波,由于受到海上复杂海情的影响,对检测海面小目标有巨大的阻碍。同时,小目标雷达散射截面积小,目标信号微弱,易淹没在海杂波和噪声中,导致检测虚警率上升。如何从复杂海情中实现小目标高精准、高时效的检测已成为雷达信号处理领域的热点和难点。在海杂波背景下检测小目标,需要对海杂波特征进行研究,分析海杂波信号与小目标信号的特征差异,进行小目标检测。依据海杂波具有混沌特性和分形特性,本文研究了混沌的相关基础理论及其特征。研究了混沌与噪声的区别,提出了基于改进的经验模态分解（MEEMD）算法和SG滤波的海杂波去噪算法。分析分形理论与混沌理论之间的联系,结合分数阶傅里叶变换（FRFT）分析海杂波的多重分形特性,提出了基于FRFT域的高阶多重分形海面小目标参数检测方法。具体研究如下:利用最小二乘支持向量机（LSSVM）构建海杂波单步预测模型,证实了LSSVM应用在海杂波目标检测领域的有效性。选取CEEMD与排列熵结合的改进算法MEEMD,对海杂波进行CEEMD分解,避免模态混淆。确定排列熵的阈值范围,对CEEMD分解的IMF分量进行排列熵计算。大于排列熵最大阈值,认为是异常分量,予以剔除,直到分解的IMF分量的排列熵小于排列熵最小阈值,停止分解。处在排列熵阈值范围内的IMF分量,认为是噪声占据主导地位的信号分量,对此类信号进行SG滤波。将经过滤波后的分量与小于阈值范围的第一个IMF分量和剩余信号进行信号重构,得到去噪后的海杂波数据。MEEMD对海杂波不需要完全分解结束,只要分解到IMF分量的排列熵在阈值范围以下,就可停止分解,减少了运算时间,提高了时效性。LSSVM单步预测模型,选用均方根误差作为去噪效果评判指标,以IPIX雷达#17海杂波为例,去噪前均方根误差为0.0064,去噪后均方根误差为0.000968,实验结果提升了一个数量级,同时能够检测出去噪前海杂波中未能检测出的小目标信号,提高了准确性。针对海杂波背景下复杂海情对小目标检测的影响,传统时域分形分析法未考虑海杂波信杂比（SCR）低的特性,提出了基于FRFT的高阶多重分形参数检测法。该方法选用分数布朗运动（FBM）建模,将海杂波数据代入FRFT变换,发现不再具有严格的自相似性,除了FRFT变换阶数,还与尺度系数有关。再利用多重分形去势波动法确定多重分形参数,研究海杂波实测数据在不同组合下的多重分形参数。实验结果表明,FRFT能够有效的对小目标进行能量补偿,并且拓展了多重分形参数的线性区间,HH极化提高了10%,VV极化提高了14.29%,对高尺度分形参数进行归一化,设置门限,HH极化主目标检测正确率为92.86%,VV极化主目标检测正确率为78.57%,验证了高尺度分形参数可应用于海面小目标检测。归一化负高尺度多重分形参数和尺度在-5至5区间分形参数拟合曲线的斜率,利用Logistic回归模型进行预测有无小目标,预测准确率达到83.42%。文章分析海杂波与小目标信号的特征差异,结合经验模态分解,支持向量机,分形和分数阶傅里叶变换等理论,建立海杂波背景下小目标检测模型,缓解了小目标检测对复杂海情的依赖,具有一定的应用价值。