在无线网络系统的物理层中,一个基本的科学问题是研究如何在接收端更好更快地恢复信源传输的信息。在实际生产环境中,无线网络系统物理层的接收端所面对的系统噪声和干扰十分复杂。造成这样的现象有多方面的原因,其中之一是频谱资源的过度重用引起了严重的无线网络信号干扰。这些干扰往往呈现出时域或频域上的动态相关特性。此外,对于长波、水下通讯和多接入系统等场景来说,系统噪声或干扰还具有一定的冲击性。这类冲击性噪声干扰通常是复杂动态和难以分析的非高斯噪声干扰。复杂的业务环境的噪声深刻地影响了系统的信号检测方式,使得传统的信号检测方案难以适应复杂环境的变化,已成为系统的瓶颈。由于现有的多输入多输出（MIMO）信号检测方案主要致力于分析特定的噪声模型（如高斯白噪声）,并据此构建相应的信号检测方案,因此传统的信号检测方案并不能很好的适应复杂环境的切换。因此,我们亟需针对复杂未知动态噪声干扰环境,重新设计MIMO系统的智能信号检测方案,使得系统能够更好地适应各类复杂业务场景的切换。为了解决这一关键科学问题,本文首先针对未知独立复杂动态噪声干扰环境下的信号检测问题提出了一个新的基于最大正则流估计（MANFE）的信号检测框架,以执行有效的最大似然估计,从而恢复所需的信号。该框架是一个基于全概率生成模型的框架,可以有效地通过正则流神经网络来近似未知的噪声分布。更重要的是,这个框架是由无需标签数据的无监督学习方法驱动的,因此它只需要噪声样本而无需分析噪声的统计特性。为了降低最大似然估计的计算复杂度,我们进一步提出了该框架的低复杂度版本,该低复杂度框架利用给定的检测器进行初始估计,并利用该初始估计有效的减少了搜索空间的大小。仿真结果表明,该框架在误码率方面优于现有的其他算法,并且在高斯噪声下能够达到最大似然估计的性能边界。而且,在非高斯冲击性噪声环境下,低复杂度版本的性能可以优于基于欧氏距离的最大似然估计。其次,本文针对相关动态噪声干扰环境下的信号检测问题还提出了一个联合深层卷积神经网络（DCNN）与常规信号检测算法的迭代式框架,用以捕捉不同符号噪声之间的局部相关性,以此来降低相关噪声干扰对信号检测算法的影响。该框架作为一个通用框架,可以提高常规信号检测算法在相关噪声环境下的检测性能。在该迭代式检测框架中,信号检测算法用于对传输信号进行初始估计,然后通过DCNN利用噪声之间的局部相关性对传输信号进行相关性消除和噪声干扰消除以便后续进行更精确的估计。这种迭代过程可以持续进行,且有助于提高信号检测算法在此场景下的检测性能。此外,仿真结果验证了所提出的检测框架在该场景下的有效性。