网购已经普及全球,在网购平台上给用户推荐个性化的商品列表,在促进商品销售、满足用户购物需求等方面具有重大意义。最大化长期收益是电商平台的目标,然而,传统的推荐算法和基于深度学习的推荐算法大都从解决数据稀疏问题出发,并没有对长期奖励建模。在电商推荐场景中,推荐引擎和用户构成了彼此的环境模型,二者的交互过程是时序相关的决策序列,与马尔可夫决策过程十分契合。强化学习以马尔可夫决策为理论基础,无疑是当下电商推荐取得突破的重要思路。近些年,各大电商集团开始尝试利用强化学习规划商品展示策略。强化学习需要借助环境模型进行学习,而电商平台涉及企业和众多消费者的利益,在真实的线上环境训练模型成本巨大,因此,构建贴近真实环境的仿真环境是将强化学习落地电商推荐的第一步。国内的淘宝、京东、美团等平台都在尝试利用内部的真实数据去构建虚拟环境。目前可以开源使用的电商仿真环境有阿里集团和南京大学合作开发的开源环境“虚拟淘宝”。本文在“虚拟淘宝”上训练三大性能优越的强化学习算法:PPO、SAC、TD3,取得了较原作者使用的DDPG更理想的学习结果。结合算法原理和实验效果,本文进一步对PPO、SAC、TD3作了针对性的改进。PPO在“虚拟淘宝”上采样效率差,本文使用4个子线程并行与环境交互,采集训练轨迹供给PPO主线程更新策略模型,并针对每个样本的重复使用次数等重要参数做了严格的对比实验,使得PPO在“虚拟淘宝”上的学习结果显著提升。SAC的策略网络在“虚拟淘宝”上易产生大量边界动作,干扰训练过程,本文使用全新的公式来计算策略熵,有效降低了边界动作造成的计算误差,提升了学习结果和训练稳定性。TD3对环境比较敏感,本文针对“虚拟淘宝”对TD3作了三个改进:首先,为了提高策略网络的学习效率,让目标策略网络和当前策略网络对当前虚拟环境的状态分别预测一个候选动作,用当前估值网络进行估值,选取估值较大的候选动作与环境进行交互;其次,本文采用具有自相关性的OU过程作为探索噪声来提高TD3的探索能力;最后,本文使用优先采样的方法对样本进行存放和采集,在上一轮更新中估值网络的估值偏差较大的样本被赋予较大的优先级,即增大该样本的学习力度。本文将改进后的PPO、SAC、TD3分别用DPPO（Distributed PPO,简称DPPO）、SAC＿E（SAC with new Entropy formula,简称SAC＿E）、TTD3（TD3 with Three adjustments,简称TTD3）来表示,便于描述和比较。算法的效果用CTR（ClickThrough-Rate,简称CTR）来衡量。DPPO的CTR学习结果改善最明显,SAC＿E较SAC的CTR收敛均值高大约15个百分点,TTD3较TD3的CTR收敛均值高大约9个百分点。为强化学习在电商推荐场景的在线调优提供了可以参考的初始化策略模型。