点击率预估作为广告投放领域的核心问题,近年来不断受到学者的关注。然而,当前广告点击率预估问题仍然存在以下难点:第一、数据量大。在互联网用户规模庞大、增长速度快的背景之下,广告日志数据一天就可达百万级,因此更高的实验设备和更高的技术被企业所需要。如何充分利用设备和模型提高大数据训练、预测速度是广告点击率预估的难点之一。第二、高维稀疏特征处理。一方面,从对广告日志进行特征提取到模型训练都涉及到高维稀疏特征的处理,比如设备编号可能有上千种,那么一个特征维度就达上千。而且,传统的经过编码之后的特征维度可达百万级,且十分稀疏。另一方面,传统的机器学习模型预测点击率常常需要专家进行人工特征处理,比如特征组合。这样的人工特征处理常常无法准确把握特征内部隐含的交叉关系,而且拟合高阶特征需要消耗大量精力。第三、数据类别不平衡。将广告点击率预估问题看作是一个二分类模型,1表示点击、0表示未点击。个体在上网时对于推送的广告常常点击的很少,可能一页几十个广告只会点击一到两个,那么就会存在训练数据不均衡的问题。已有研究表明,大多数模型是基于一个相对均衡的样本分布来训练数据的,而极其不均衡的广告数据可能会影响到整个预估效果。批量归一化的优化方法是2015年提出的有效的神经网络优化方法,目前还没有有学者用于广告点击率预估问题中。在研究已有模型的基础之上,本文采用重采样技术对数据做前期处理使得模型训练速度大大提升,同时在DeepFM模型结构中加入批量归一化层使得模型预测性能有了较为显著的提升。本文提出了一个改进的广告点击率预估模型:基于欠采样技术的BN-DeepFM广告点击率预估模型。具体内容包括:第一,为了消除样本类别不均衡对模型预测性能的影响,将欠采样技术应用于实验数据集。结果显示,模型预测性能与采样之前相比几乎没有差距,但是却大大提升了模型训练速度。第二,研究了不同激活函数层和批量归一化层对深度神经网络的优化程度的影响。结果显示:relu激活函数较sigmoid激活函数和softmax激活函数更优,并且在深度神经网络的隐藏层里加入批量归一化层相较于用relu激活函数又更优。理论上,批量归一化层的方法能提高模型的泛化能力和训练速度。实验结果表明模型的预测性能较不加批量归一化层提升了1%,但是在本文的的实验结果中模型的训练速度几乎没有提升,原因可能是经过欠采样处理之后数据量减少,模型的训练速度相比欠采样之前本来已经有了大幅提升,因而在欠采样技术上的数据集中批量归一化没有起到加速的作用。第三,针对高维稀疏的输入数据做了嵌入层处理。将独热编码之后的维度不同的特征向量映射成维度相同的低维稠密的嵌入向量,映射权重用因子分解机模型训练所得。第四,将深层学习模型与浅层学习模型在数据集上进行对比,结果显示深层学习模型预测性能较优。这是因为浅层学习模型通常只利用了低阶特征,而深层学习模型能自动学习高阶特征,可以更好地利用用户行为背后隐含的信息。