预算约束下如何分配广告印象是RTB竞拍的主要研究问题之一。通过对广告印象的合理分配可以让广告获得良好的营销效果,进而使交易平台和需求方平台获得更高的收益。传统的分配方式站在交易平台的角度通过“价高者得”进行分配,这使得分配策略永远固定在最高出价的需求方身上。在复杂且规模大的RTB拍卖环境中,这种方法会导致需求方在前期过度消耗预算,从而影响需求方乃至交易平台的最终利益。同时,从算法的角度考虑,由于环境规模造成的拍卖序列过长也会导致现有算法学习过慢以及训练困难。首先,针对如何分配广告印象问题使得平台和需求方互利共赢的问题,本文将RTB广告印象分配问题依照不同等级预算限制建模为一组多级的马尔科夫决策过程集合,并使用深度强化学习算法为各MDP问题自动学习广告分配策略。其次,为了解决预算过早耗光以及算法训练困难等问题,本文提出了多级预算分配约束DQN（Multi-Level Budget Constraint DQN,MLBC-DQN）框架。该框架可以将长序列决策环境分为多个不同级别预算的短序列环境,在不同级别预算的短序列环境中分别使用DQN来训练动作的估计回报,然后使用不同级别Q估计值加权得到的结果指导算法最终选择与环境交互的动作。在短序列环境中智能体能够快速学习到有效的策略,以此指导大序列环境的学习,从而克服预算过早耗光,同时也可缓解序列过长导致算法难以收敛。最后,为验证本文提出的模型及算法的有效性,本文在i Pin You上应用了两个数据集来对模型和算法进行验证。实验结果表明,与传统的线性分配策略、传统DQN相比,本文提出的MLBC-DQN框架能够有效地学习广告印象分配策略。在保证平台收益的前提下,使需求方获得更高的CTR值,从而让需求方获得更大的利益,最终达到促进广告资源营销效果的目标。