为实现第五代移动通信系统（The 5th Mobile Communication Systems,5G）万物互联以及第六代移动通信系统（The 6th Mobile Communication Systems,6G）泛在连接的美好愿景,卫星通信技术受到了广泛研究。卫星网络覆盖范围广,具备与无人机等创新型设备互通信息的能力且能够提供应急通信。但目前对卫星通信的研究,包括信息传播特性研究、与地面系统的融合研究以及卫星资源管理方案的研究仍存在一定的缺陷。本文从理论和实践两个方面对卫星通信系统进行研究。在理论层面,本文对卫星辅助无蜂窝大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）系统的多组多播性能进行分析,探索卫星在缓解地面压力以及提高数据传输速率方面的能力。在实践层面,本文基于第二代卫星回传链路数字视频广播（Digital Video Broadcasting-Return Channel by Satellite second generation,DVB-RCS2）标准分析透传卫星通信系统跨层协作模式,探索卫星资源有效利用的可行性方案。首先,介绍了无蜂窝大规模MIMO系统,并与集中式、分布式大规模MIMO进行对比。之后对现存的卫星通信系统进行总结,研究卫星信道特性、信道模型以及常用通信标准,并针对DVB-RCS2标准进行概述,明确标准中的接入技术、资源请求方案以及业务模型,以此作为后续系统级仿真研究的基础。接着,基于无蜂窝大规模MIMO系统,利用卫星辅助和多组多播机制来缓解地面通信压力,并提高系统的数据传输效率。通过共导频方案对卫星信道与地面信道状态信息（Channel State Information,CSI）进行估计,基于估计的CSI,考虑最大比传输（Maximum Ratio Transmission,MRT）和迫零（Zero Forcing,ZF）预编码方案,推导卫星辅助无蜂窝大规模MIMO系统中多播用户的频谱效率的闭合表达式,基于推导的闭合表达式分析系统参数对频谱效率的影响。仿真结果验证了所推导的闭合表达式的准确性,在卫星和多组多播的帮助下,系统的平均频谱效率得到了显著的提高。最后,针对卫星资源有限问题,为实现资源充分利用,本文基于DVB-RCS2标准,搭建透传卫星通信系统,合理配置动态多频时分多址（Multi Frequency-Time Division Multiple Acess,MFTDMA）帧结构。确定资源请求方式,利用按需分配（Demand Assignment Multiple Acess,DAMA）策略统计并计算返回链路卫星终端（Return Channel Satellite Terminal,RCST）资源请求量,网络控制中心（Network Control Center,NCC）针对RCST请求进行帧选择、帧内资源预分配、符号共享以及时隙生成过程,进行资源的合理分配。利用卫星网络仿真器（Satellite Network Simulator 3,SNS3）对DVB-RCS2卫星通信系统返回链路资源分配过程进行仿真,考虑分配公平性原则,实现系统资源的充分利用。