近年来,随着第五代移动通信技术的发展,云无线接入网络（Cloud radio access network）和雾无线接入网络（Fog radio access network）等大规模分布式天线系统、海量机器类通信（Massive machine-type communications）等新型通信架构和技术得到了学术界和工业界的广泛认可和倡导。活跃用户探测（Active user detection）与信道估计（Channel estimation）是无线通信领域的基本问题之一。传统的活跃用户探测与信道估计方法要求训练导频的长度与系统中的总用户数成正比。而与传统蜂窝网络中的单个小区相比,大规模分布式天线系统和海量机器类通信系统中的用户设备数大幅提高,使用传统方法求解这些系统中的活跃用户探测和信道估计问题将耗费大量的导频资源,甚至是不可行的。为了节省导频资源,本论文研究使用压缩感知（Compressed sensing）技术解决无线通信系统中的活跃用户探测和信道估计问题（目标问题）,并基于该技术方案提出了一种适用于海量机器类通信场景的跨层随机接入协议。首先,探讨了在传统蜂窝网络中的单个小区内,使用压缩感知技术求解目标问题。结合压缩感知的基本理论,介绍了在单小区内目标问题的基本模型和求解方法。由于对目标问题的求解严格限制在信道相干时间内,讨论了使用多种低复杂度算法来加速求解过程。基于活跃用户的稀疏性假设,该技术方案仅需要远小于总用户数的导频长度即可有效求解目标问题。然后,研究了配置有线前端链路的大规模分布式天线系统中的目标问题。基于压缩感知技术,提出了一个新的惩罚函数来同时挖掘系统中用户活动的稀疏性和用户信号在空间传递上的稀疏性。不同于已有的研究工作,该方法不需要知道关于无线信道的先验信息,仍然能达到很好的性能水平。值得一提的是,该方法甚至在系统内的所有用户均处于活跃状态时也能正常运行。此外,提出了三种低复杂度的方法来求解所提出的惩罚函数,分别支持集中式和分布式的运算部署,并具有不同的性能和计算复杂度,因此可以满足差异化的系统需求。接着,研究了配置无线前端链路的大规模分布式天线系统中的目标问题。提出了一个分为两个阶段的压缩感知求解过程来分别挖掘用户活动的稀疏性和用户信号空间传递上的稀疏性,并讨论了低复杂度方法及其分布式部署方案来加速目标问题的求解。基于活跃用户的稀疏性,该方法可以有效地探测活跃用户并估计从活跃用户到远端射频单元的信道。最后,针对海量机器类通信场景,提出了一种新型的随机接入跨层协议。该协议是上述活跃用户探测和信道估计方法的一个重要应用。该协议使用压缩感知技术在数据包传输之前单独地进行活跃用户探测和信道估计,这使得基站端可以从单个时隙内解码出多个冲突的上行数据包,从而大大提高了系统传输容量。采用该协议时,用户端的信令开销极低,因此大幅降低了用户设备的通信能耗。本文对协议中的数据恢复过程、参数选取、活动用户数量的动态变化以及数据包传输延迟等方面进行了基于理论和经验的分析。