论文部分内容阅读
随着互联网技术的不断发展与创新,借助互联网平台形成的在线广告展现了巨大的潜力和商业价值。数字智能互联时代带给在线广告巨大的发展机会。和传统的广告相比,在线广告拥有传播速度快、影响范围广、内容丰富多样、广告成本低、广告效果好等优势。因此互联网在线广告成为各类企业扩展知名度、实施营销战略,从而提高收益的有效途径。目前,互联网广告主要有展示广告和搜索广告等类型,但不管哪种类型的广告,要想充分利用其带来的便利,关键还在于对广告点击率进行预测。对广告点击率进行准确预测既能增强用户体验,又能提高广告主的收益,从而进一步影响互联网广告平台的收入。因此,利用历史数据对广告点击率进行预测非常有意义。目前,虽有大量模型用于广告点击率的预测,但大多数都是基于传统的浅层模型,对于广告类多字段类别数据,浅层模型往往无法有效学习特征之间的相互关系,更无法学习广告数据深层次的潜在模式。利用浅层模型对广告点击率进行预测往往需要大量的特征工程做支撑,因此会浪费大量的人力物力。近年来,基于深层神经网络的深度学习模型,特别是卷积神经网络模型得益于强大的自动学习特征的能力,在很多领域取得了巨大的成功。但基于卷积神经网络在广告点击率预测方面的研究还刚刚起步。因此本文研究卷积神经网络广告点击率预测模型。本文针对广告数据特征类别多样的特点,及现有广告点击率预测模型面临的不足之处,在已有的广告点击率预测模型相关理论与技术的基础上,构建了一种结合因子分解技术的卷积神经网络广告点击率预测模型,并对预测模型进行了优化研究,最后对模型预测广告点击率的效果进行实验验证。本文的主要工作包括以下几个方面:(1)根据广告数据特征高维稀疏的特点及因子分解机嵌入特征的能力、卷积神经网络权值共享局部连接、处理高维数据的优势,构建一种结合因子分解机制的卷积神经网络广告点击率预测模型。该模型在模型底层引入因子分解嵌入层,将通过one-hot编码的高维稀疏特征数据嵌入到低维向量空间中,然后利用模型上层的卷积池化操作层进一步学习数据深层次的潜在特征,最后通过全连接层综合各方面的深层特征输出广告点击率。(2)分析广告数据及本文构建的基于卷积神经网络的广告点击率预测模型的特点,引入乘积运算层对本文构建的点击率预测模型的结构进行优化。本文通过在特征嵌入层上引入乘积运算层解决卷积层无法对非相邻特征之间的全部交叉特征进行建模的问题,通过嵌入层特征向量的內积运算得到非相邻的二阶特征,以利于卷积层进一步学习深层次的特征模式。(3)利用Selu激活函数及改进的Dropout方法对本文模型的性能进行优化。利用Selu激活函数代替Relu激活函数,解决Relu带来的模型训练不稳定的问题及梯度消失和梯度爆炸问题,通过改进的Dropout方法以适应相应的Selu激活函数,从而有效避免模型过拟合。实验过程中,选取AUC和Logloss作为模型评估指标,利用iPinYou数据集对本文构建的卷积神经网络广告点击率预测模型进行训练和效果测试。训练时采用适合卷积神经网络的反向传播算法和随机梯度下降算法进行权值的优化更新。并通过对比实验进行对比分析。实验结果表明,基于网络结构的点击率预测模型在隐藏层数为2(即两个卷积和池化层)时模型预测性能比较好,传统的激活函数Relu的性能好于Sigmoid和Tanh;相对于另外的LR、FM及CCPM三种点击率预测模型,本文构建的结合因子分解的卷积神经网络广告点击率预测模型对广告点击率预测的效果更好;优化后的模型在预测性能上有一定的提升。总之,实验结果表明,本文构建的广告点击率预测模型效果好,给出的优化技术方法是有效的。