5G通信能够满足用户高速率、低时延、大带宽的业务需求,未来通信网络的发展即将关注移动通信业务的全球覆盖问题,卫星通信成为最有效的解决手段。空间低轨卫星网络凭借其建设成本低、发射效益高、往返时延低、组网灵活等优点,近年来成为卫星通信领域的热点研究趋势,并朝着结构更加复杂、任务更加多样、处理要求更加严格的方向发展。但是目前传统的接入及资源分配机制受主观因素影响较大,无法根据环境变化动态调整,更不能够实现自适应的决策及优化,无法满足未来空间低轨卫星网络管理控制的智能化需求。针对上述挑战,本文基于强化学习模型研究了该场景下接入选择及功率控制的智能化解决方案。强化学习作为一种无模型的机器学习技术,可以在对环境未知的情况下,通过与环境的不断交互获得反馈动态调整决策行为,适用于高度动态的空间低轨卫星网络环境。为了更好地模拟真实网络运行情况,本文对低轨卫星系统进行了仿真,并将星座仿真数据连接至MATLAB软件,进行联合仿真以便验证后续策略。本文的创新成果主要分为两方面,其内容如下:(1)在空间低轨卫星网络的多星覆盖场景下,提出了面向多业务的Q学习接入选择策略。针对传统基于综合加权的接入选择策略无法适应动态环境、处理复杂任务以及识别网络故障的挑战,本文采用Q学习模型对接入选择策略进行优化,将接入选择问题完全映射至Q学习模型中,实现了动态有效的自适应多星接入选择。并在参数设计中将接入业务进行分类并设置为状态变量,根据业务状态变量计算不同参数权重的反馈函数,满足了不同业务的通信质量要求。联合仿真结果显示,相较于综合加权策略和单业务Q学习策略,本策略在呼叫到达率较高时最高能降低约1.2%的呼叫阻塞率和1.4%的强制中断率,最多能减少约26s以上的平均等待接入时间,并能够更快地达到100%的卫星信道利用率。另外观察Q值随迭代次数变化的趋势可以证明该策略的收敛性,其能在多次迭代后获得最优Q值表,总是可以选择对当前状态最优的动作。(2)在空间低轨卫星网路的上行链路场景下,提出了面向网络效用的智能化功率控制策略。针对传统基于目标信噪比的功率控制策略无法有效均衡系统容量与功率消耗的挑战,设计了合作博弈下的优化目标——网络效用函数。并以网络效用函数为反馈函数,卫星接收端信噪比为状态,发射功率选择为动作,对上行链路闭环功率控制流程进行了 Q学习模型的完全映射,实现了智能化与自适应的最佳发射功率搜索。仿真结果显示,相较于传统基于固定步长的功率控制策略,本策略在状态数为8个时提高了约8%的系统容量和9%的网络效用,在状态数为16个时两者的优化效果差异达到最大值,此时提高了约10%的系统容量和12%的网络效用,并且随着状态数增加也几乎保持不变。该结果表明该策略在用户数量较多时表现出更好的性能,特别是在网络效用方面,该策略实现了系统容量与功率消耗的均衡。同时该策略具有收敛性,能在多次迭代后趋于稳定,充分利用历史经验和环境反馈实现动态的功率控制。