自上世纪九十年代以来,随着无线通信技术的迅速发展和物质文化水平的提高,人们对通信质量和通信效率逐渐有了更高的要求,与此同时接入移动网络的设备数量的上升也对无线通信网络的负载能力提出了更高要求。随着我国“四纵四横”高铁网络的全面覆盖,高铁已然成为民众的首要出行方式,而高速场景下的移动通信已经成为学术界的研究热点。在高速场景下,高速移动带来的高多普勒频移使得子载波的正交性无法得到保证,高速情况下传统的OFDM的性能较差,正交时频空间调制（Orthogonal Time Frequency Space Modulation,OTFS）有望解决为了高速场景下的通信问题。另一方面,近几年机器学习在通信领域的应用愈发广泛,其在信道估计和信号检测的突出表现引起了学者们的关注。基于以上背景,本论文对高速移动场景下的OTFS系统及其相关的信号检测算法展开了研究。首先,本文阐述了无线通信的发展历程,指出研究高速场景下的无线通信技术具备重要意义,随后介绍了国内外OTFS技术的研究现状,接着对机器学习在无线通信领域的应用进行简要介绍。其次,本论文研究分析了OTFS技术调制解调的原理及其系统模型,接着本文对消息传递算法（Message Passing,MP）和近似消息传递算法（Generalized Approximate Message Passing,GAMP）进行了比较和分析,结论表明GAMP算法解决了MP算法复杂度NP的问题,在降低计算复杂度的同时保证了一定的检测性能。再次,由于GAMP算法的阻尼因子选取不当会带来检测性能的下降的问题,本文提出了基于遗传算法优化阻尼因子的GA-GAMP算法,该算法将每个迭代层的阻尼因子看作独立参数,通过多目标优化使得特定信噪比的误比特率最小,并进行了相应的仿真和分析,结果表明,相比于固定阻尼因子的GAMP算法,GA-GAMP算法的检测性能具有一定提升。最后,由于每个迭代层的阻尼因子在影响当前迭代层收敛性能的同时亦会影响后续迭代的初值,从而影响系统的整体检测性能,因此同时关注迭代过程和最终误比特率的训练网络更为合理。本文用深度强化学习的方法对OTFS的信号检测进行了优化,提出了A2C-GAMP检测算法。该算法通过将GAMP的迭代过程展开成强化学习的不同状态,完成GAMP的全部迭代等同于一个Episode的结束,Agent的动作为选择每次迭代的训练参数,为避免稀疏奖励,每个Episode的Reward由不同迭代层的RewardT和误比特率奖励RewardBER构成,通过神经网络拟合Actor的策略网络和Critic的价值网络。仿真结果表明,相较于传统GAMP检测算法,A2C-GAMP算法有明显性能提升。