在线广告作为互联网行业中增长最快的领域之一,是一种利用互联网来定位目标受众的营销模式。它通过实时竞价的方式允许广告客户对每一个广告展示进行实时竞拍购买。实时竞价模式采用的是第二价格密封拍卖的方式,理论上这是一种鼓励以真实估价来竞拍的方式。然而在实践中因各种因素的影响,最优的出价在很大程度上是未知的。在大多数实时竞价系统中,用户对广告的点击概率因体现了广告的投放价值,成为广告客户计算出价的重要依据。近年来,研究人员在利用深度神经网络预测点击率上取得了很大进展。然而研究表明,这些模型在高阶和低阶特征组合的表达能力上还有很大的提高空间。此外,实践中的竞价模型往往将竞价计算当作一个静态优化问题,对每一个竞拍请求按顺序独立的分析并计算出价。然而当大量的竞价请求到来时,独立的计算竞价很可能将大量预算消耗在短期内投放价值高的广告展示上,而放弃了全局最优的广告展示。因此在给定预算约束下,如何动态地优化竞价策略,赢得更多具有较高价值的广告,成为竞价模型的另一大挑战。本文的主要贡献有:1)提出了一种基于PNN与DeepFM的点击率预测融合模型,提升了模型表达低阶和高阶特征组合的能力。通过在iPinYou数据集上的实验表明,本模型在AUC值上相比于LR模型提高了 3%,相比于FM模型提高了 2.6%,相比于FNN模型提高了 1.6%,相比于PNN模型提高了 1.5%,相比于DeepFM模型提高了 0.57%。2)应用约束马尔可夫决策过程对竞价过程建模,通过强化学习动态地优化竞价策略。同时将1)中提出的融合点击率预测模型应用于竞价模型的广告效果评估中。该竞价模型将预算作为约束,点击作为奖励,实现在预算限制下,为具有高点击率的广告展示提供较高的竞价,从而最大化广告的投放价值。通过在iPinYou数据集上的实验表明,该模型在获得点击次数、中标率、CPM值和CPC值等评价指标上取得了良好的效果。3)以本文提出的点击率预测模型和竞价模型为核心,设计并实现了一个广告竞价系统,为实时竞价系统的需求方平台提供竞价计算功能。