下一代移动通信（6G）的愿景之一是要在全球范围内进行地面通信和卫星通信的融合,构建真正的空天地一体化全覆盖通信网络。与高轨卫星相比,低轨卫星具有更高的能量利用效率,更适合用于6G通信。本文致力于在星上资源有限的前提下,有效提升低轨卫星的通信容量以应对日益增长的业务需求。针对低轨卫星信道环境复杂、传输距离长、传输资源有限等问题,采用自适应编码调制技术,能够在满足通信质量的前提下提升系统性能。本文通过分析低轨卫星通信场景的特性,对自适应编码调制技术在低轨卫星通信系统上的应用进行了深入研究,本文的研究内容如下:1.研究了低轨卫星通信系统和信道状态信息预测技术,其中卫星链路长时延将会导致发送端收到的信道状态信息过时,高功率放大器工作在饱和点附近将在信号中引入非线性失真。针对以上问题,提出了一种基于机器学习的低轨卫星信道状态预测算法。该算法通过长短期记忆网络确定自回归移动平均模型的阶数,其中长短期记忆网络依赖于较短的时间序列弥补数据中的非线性失真,自回归移动平均模型有效预测当前时刻的信噪比。仿真结果表明,所提算法相比传统的自回归移动平均模型对信道状态信息的预测精度提升了 50%,有效提高了获取信道状态信息的准确性。2.在发送端得到实时准确的信道状态信息的基础上,研究了低轨卫星自适应系统,其中卫星信道的多变性导致信噪比与编码调制方式的映射表失效,基于模型的Dyna-q算法在信道状态改变时收敛速度较慢。针对以上问题,提出了一种基于强化学习的低轨卫星自适应编码调制策略,在基于模型的Dyna-q架构的基础上,加入状态-动作对的优先级函数,即信噪比-编码调制方式的优先级函数。该算法通过环境模型学习虚拟经验,有效提高与环境交互的学习效率,通过优先级函数使智能体重点关注价值更高的动作,加快算法的收敛,并且能够快速捕获环境的改变,纠正模型的错误。仿真结果表明,在卫星通信场景下,与Q-learning算法、Dyna-q算法相比,本文提出的调制编码策略选择算法具有更好的收敛性,并有效地提升了系统频谱效率。3.搭建了基于5G物理层协议的低轨卫星链路仿真平台,联合设计了基于机器学习的低轨卫星信道状态预测算法和基于强化学习的低轨卫星自适应编码调制策略,实现了基于机器学习的低轨卫星自适应编码调制系统。仿真结果表明,低轨卫星链路仿真平台能够支持关键技术的验证,与现有算法相比,基于机器学习的低轨卫星自适应通信系统性能有显著提升。其中,本文提出的信道状态预测算法将低轨卫星自适应通信系统的频谱效率提升了50%,本文提出的调制编码方式选择算法在提升系统容量的同时,相比Dyna-q算法收敛速度提升了一倍。