随着无线通信技术的覆盖范围、延时、速率与稳定性持续优化,无线通信已成为最主要的通信方式之一。无线通信频段的高灵活性、调制方式的多样性、天然的广播特性以及信号的广泛存在性等优势使其成为构建隐信道的理想载体之一。隐信道是以隐藏秘密通信行为为目的,将秘密通信内容寄生在可由通信双方共同访问的载体对象中。基于无线通信信号的隐信道被称为无线隐信道（Wireless Covert Channel,WCC）,其是在尽可能降低对载体通信误码率及信号统计特性影响的前提下通过调整无线信号特定层级特征以调制秘密信息。在诸多无线隐信道中,星座图调制类无线隐信道以其信道容量与隐蔽性方面的优势而颇受关注,其是利用物理层调制方法对噪声的容忍特性以及无线信道天然的噪声特性将秘密信息调制为人工噪声信号后叠加在载体信号上以掩盖隐信道的存在。然而当前针对星座图调制类无线隐信道检测技术的相关研究较少,尤其是随着秘密信息调制点周期旋转、基于模型的拟形调制、偏移量相关调制等隐蔽性增强机制的引入,使得针对星座图调制类无线隐信道的检测面临着愈加严峻的挑战。针对上述问题,本文针对不同类型的星座图调制类无线隐信道的检测方法开展研究,从单星座点调制类无线隐信道检测、多星座点联合调制类无线隐信道检测、基于图像表征的星座图调制类无线隐信道检测、多侦测天线联合检测以及多输入多输出（Multiple Input and Multiple Output,MIMO）场景下的检测这五方面开展了深入研究,主要研究工作及创新成果如下:（1）针对现有单星座点调制类无线隐信道检测方法在检测准确性方面的不足,提出了基于残差信号幅值-相位分布差异量化回归的检测方法。该方法在正常无线信道噪声的典型统计模型基础上,通过从侦测信号中移除正常通信信号得到残差信号,并生成符合典型噪声分布的同功率噪声信号,对残差信号与同功率噪声信号的幅值与相位分布差异分别进行量化处理,并采用逻辑回归方法以实现对分布差异量化特征的学习,进而实现对单星座点调制类无线隐信道的有效检测。仿真及软件无线电平台实验结果表明所提检测方法的检测准确性优于同类型的基于分布统计分析的检测方法。（2）针对当前基于分布统计分析的检测方法难以应对隐蔽性更强的多星座点联合调制类无线隐信道的问题,提出了基于均衡残差信号自相关分析的检测方法。该方法利用了正常通信信号与隐信道通信信号在自身相关性上的差异,通过分析不同信道模型下二者均衡残差信号的平方自相关系数,采用假设检验方法实现对典型的多星座点联合调制类无线隐信道的检测。仿真及软件无线电平台实验结果表明所提检测方法能够在不同信道模型下有效检测多星座点联合调制类无线隐信道。（3）为了实现对不同类型星座图调制类无线隐信道的检测,提出了基于无线信号图像表征深度学习的检测方法。该方法将星座图调制类无线隐信道的检测问题转化为图像的分类问题。通过将侦测到的无线通信信号与残差信号分别映射到二维灰度图空间后,设计一种双通道卷积神经网络来同时对生成的两类灰度图进行训练得到检测模型,以实现对星座图调制类无线隐信道的有效检测。仿真及软件无线电平台实验结果表明所提检测方法能够同时检测单星座点调制类及多星座点联合调制类无线隐信道。（4）从多侦测天线这一在无线通信对抗中常见的提高检测能力的手段出发,提出了基于多侦测天线联合分析的星座图调制类无线隐信道检测方法。将不同侦测点捕获的无线信号分别进行正常信息解调与残差信号提取,利用不同无线通信信道影响下多个侦测信号解调的正常信息实现多侦测天线同步,再利用其提取的残差信号之间的相关性实现隐信道检测。仿真结果表明所提检测方法能够有效检测单星座点调制类及多星座点联合调制类无线隐信道,且检测准确率相比基于无线信号图像表征深度学习的单侦测天线检测方法有显著提升。（5）针对MIMO场景下构建的星座图调制类无线隐信道尚缺乏有效检测手段的问题,提出了基于误差信号自相关矩阵的MIMO场景下隐信道检测方法。针对不同MIMO通信模式,该方法首先分析了星座图调制类无线隐信道误差信号自相关矩阵,通过对比MIMO场景下正常通信信号与隐信道通信信号的误差信号自相关矩阵的F-范数,实现对MIMO场景下的星座图调制类无线隐信道的检测。仿真结果表明,所提检测方法能够对不同MIMO通信模式下多种星座图调制类无线隐信道实现有效检测。