论文部分内容阅读
点击率预估是推荐系统、搜索等应用场景中的核心问题，也是互联网广告投放效果的重要指标。现代互联网广告主要分为搜索广告和展示广告，其中搜索广告是规模最大的广告形式。以搜索场景为例，用户搜索关键词寻找目标，广告平台通过获取具有商业价值的关键词，结合点击率预估结果展现用户最可能点击的广告。因此良好点击率预估模型既可以带来好的用户体验，也能让广告平台达到收益最大化。
通过研究近年来基于深度学习的点击率预估模型，发现现今存在的很多点击率预估模型在挖掘特征之间的交叉关系上存在不足，对特征重用度不高。基于此，结合词嵌入和注意力机制，设计了一种基于自注意力机制的深度卷积网络，通过设计重用层和深度卷积网络的方式解决这两个问题。主要研究工作如下：
首先在历史搜索数据集上进行特征构建，将文本特征转换成数值特征，结合XGBoost模型记忆能力强和DeepAFM模型泛化能力强的优点，将两个模型进行融合，并得到点击率预估模型。融合模型没有考虑到上下文信息，忽视了词语与词语之间的依赖关系，基于此，结合词嵌入，设计了一个基于层级注意力机制的点击率预估模型，在模型中使用了双层双向GRU网络结构，并对每一层都使用了注意力机制，增强模型在时间序列上的抽象能力和语义提取能力。在层级注意力模型基础上进一步优化，设计了一种能充分挖掘语义向量在不同维度上关系的点击率预估模型——基于自注意力机制的深度卷积网络(Self-Attention-Based Deep Convolution Network,SDCN)。
以AUC和准确率为评价指标,在三个模型基础上进行对比实验。从实验结果看，SDCN模型的AUC达到0.8477，相比于其他对照模型，AUC有0.63%-2.14%的提升，准确率有0.75%-2.06%的提升。在模型子结构的有效性验证上，融合模型中子模型、层级注意力模型中两层注意力结构以及SDCN模型中重用层、外积、卷积对模型均有促进作用。以SDCN模型为例，外积运算对模型促进作用最大，卷积计算本质上是注意力机制的一种形式，对模型依然具有促进作用。
通过研究近年来基于深度学习的点击率预估模型，发现现今存在的很多点击率预估模型在挖掘特征之间的交叉关系上存在不足，对特征重用度不高。基于此，结合词嵌入和注意力机制，设计了一种基于自注意力机制的深度卷积网络，通过设计重用层和深度卷积网络的方式解决这两个问题。主要研究工作如下：
首先在历史搜索数据集上进行特征构建，将文本特征转换成数值特征，结合XGBoost模型记忆能力强和DeepAFM模型泛化能力强的优点，将两个模型进行融合，并得到点击率预估模型。融合模型没有考虑到上下文信息，忽视了词语与词语之间的依赖关系，基于此，结合词嵌入，设计了一个基于层级注意力机制的点击率预估模型，在模型中使用了双层双向GRU网络结构，并对每一层都使用了注意力机制，增强模型在时间序列上的抽象能力和语义提取能力。在层级注意力模型基础上进一步优化，设计了一种能充分挖掘语义向量在不同维度上关系的点击率预估模型——基于自注意力机制的深度卷积网络(Self-Attention-Based Deep Convolution Network,SDCN)。
以AUC和准确率为评价指标,在三个模型基础上进行对比实验。从实验结果看，SDCN模型的AUC达到0.8477，相比于其他对照模型，AUC有0.63%-2.14%的提升，准确率有0.75%-2.06%的提升。在模型子结构的有效性验证上，融合模型中子模型、层级注意力模型中两层注意力结构以及SDCN模型中重用层、外积、卷积对模型均有促进作用。以SDCN模型为例，外积运算对模型促进作用最大，卷积计算本质上是注意力机制的一种形式，对模型依然具有促进作用。