互联网时代的到来,对人们的生活方式和思维观念产生了颠覆式的影响。同时也使传统行业发生了巨大的改变。计算广告因其得天独厚的优势,成为广告主要的投放模式,和传统的媒介不同,计算广告采用大数据和机器学习的相关技术,实现广告的精准投放,达到千人千面的个性化推荐效果。计算广告领域的核心问题是准确地预测用户对待预测商品的点击率,一个性能优秀的点击率预估模型不仅能为商家和平台增加收益,同时也能改善用户的体验。早期的点击率预测算法受计算能力的限制,一般采用结构较为简单的传统机器学习算法,需要复杂的人工特征工程以获得更好的效果。近年来,随着硬件计算能力的不断提高,深度学习因其对数据强大的拟合能力,在诸如图像识别,自然语言处理等领域大放异彩。国内外各大互联网公司和一些研究机构也在探索将深度学习应用到点击率预测领域,并取得了一系列优秀的成果。本文对点击率预测领域的一些经典模型进行了分析总结,梳理了它们的设计思路和优点,并着重分析了双塔模型在点击率预测领域的应用。其次,本文分析了当前的点击率预测模型在挖掘用户潜在的兴趣偏好信息方面的缺陷和不足,特别是在用户历史行为信息的利用上,往往忽视了行为的时序特征,而这是预测结果有不可忽视的影响。在此背景下,本文借鉴了用于处理序列特征的相关算法,同时对实际的应用场景进行了分析,设计了两个处理用户的行为序列信息的子网络BSN,用于挖掘用户行为背后的兴趣信息以及兴趣和待预测商品之间的关联关系,并将其融合到双塔模型中,得到了新的点击率预测算法,分别命名为RBSN-FM和ABSN-FM。本文的主要工作和创新点如下:（1）在循环神经网络的基础上,设计了一个用于挖掘用户兴趣偏好信息的子网络RBSN,它包含了兴趣提取层和局部激活单元,其中,兴趣提取层采用循环神经网络,负责从用户的行为中提取兴趣信息;局部激活单元用于计算兴趣信息的权重,权重代表兴趣同候选商品的关联关系。（2）调研了Transformer模型在处理序列信息中的出色表现,在它的基础上,提出了一个基于注意力机制的子网络ABSN,负责挖掘用户的行为偏好信息,它由两个包含Multi-Head Attention结构的部分组成,分别负责捕获用户行为背后的兴趣偏好和兴趣偏好同目标商品之间的联系。（3）为了验证本文提出模型的有效性,本文在淘宝的展示广告数据集和华为2020年DIGIX全球校园AI算法精英大赛的广告CTR预测数据集上与基础模型的进行了对比实验。同时选择了AUC和Logloss两个指标作为模型性能的衡量指标。实验结果表明,本文提出的点击率预测模型在预测性能上较基准模型有更好的表现。