随着科技的发展,移动互联网和物联网业务爆炸式的增长。非正交多址接入(NOMA)已成为未来5G无线通信的关键技术之一,可提高频谱效率并支持大量用户接入。NOMA通过免调度的传输方式,实现海量用户的接入,接收端使用先进的多用户检测技术,实现叠加用户信号的分离。然而,免调度设计允许用户自由的传输数据,增加了用户碰撞的概率,这对系统可靠性是一个严峻的挑战。目前对于免调度多用户检测算法的研究,为了降低接收端的复杂度,都是在已知用户活动信息的前提下进行的,这是不切实际的。本文针对上述问题,对免调度NOMA系统中的重传方案和多用户检测算法进行研究。主要工作如下:首先,本文阐述了NOMA系统的基本原理和免调度传输中的重传、时延等问题。从三种候选的多址技术入手,分析了NOMA中的关键技术。通过比较三类不同的多用户检测接收机,分析了接收端的多用户检测算法。其次,本文针对免调度传输的重传问题,提出了一种自适应重复发送的混合自动重传(HARQ)方案。该方案在传统HARQ基础上减少初次发送资源数量,从而降低了多个用户数据冲突的概率;后续重传发生时增大重复发送资源数,且减少软合并信息带来的冗余度,使系统性能在可靠性和资源效率上达到更好的折衷。仿真验证了本文所提的方案相比传统的HARQ方案,不仅获得了更好的误码性能,还提高了系统资源使用效率。最后,本文根据免调度NOMA系统中活跃用户存在稀疏性的特点,提出了一种基于压缩感知和消息传递的多用户检测算法。该算法利用压缩采样匹配追踪(CoSaMP)得到活跃用户的位置信息,再采用消息传递算法对这些活跃用户的数据进行迭代检测,恢复出原始稀疏信号。由于通过CoSaMP算法能准确得到稀疏活跃的用户信息,大大减少了消息传递对数据检测的用户基数,从而提升了多用户检测性能。仿真结果表明,本文所提算法在保证较好的鲁棒性的前提下,可以提高系统性能增益。