基于强化学习的不对称信息下展示广告实时竞价研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zzfivy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当前移动通信技术和互联网大数据技术的发展,在线广告逐渐代替传统媒体广告,实时竞价广告(Real-Time Bidding,RTB)因此应运而生,并被不断发展和完善。通常情况下广告主为了获得广告展示机会,需要在需求方平台(Demand-Side Platform,DSP)开展的竞价评估中获胜。在竞价评估中,双方可能由于信息不对等而造成点击率预估的信息差。因此,研究更精准的点击率预测模型和不对称信息下的广告主竞价模型有着重要的理论价值和现实意义。在线广告的点击率受时间因素影响较大,休息时段的广告点击率明显高于工作时段。因此,本文引入ARMA模型,对时间序列进行预处理,然后利用集成学习算法XGBoost模型进行点击率预测。基于公开数据集,设计仿真实验。试验结果表明,相较于传统预测方法和单XGBoost模型,本文提出的改进模型具有更高的预测准确度。基于点击率预测结果,设计了强化学习模型,研究信息不对称情况下的竞价策略。引入遗憾最小化算法,改进了传统深度强化学习中奖励函数的设计。基于腾讯数据集,对广告主的广告点击率被DSP高估、低估和真实预测的场景进行对比试验。实验证明:在三种场景下,强化学习模型的点击率收益高于传统竞价模型。在DSP预测的点击率高于广告主时,决策智能体倾向以于高频率,低价格的方式出价;在DSP预测的点击率低于广告主时,决策智能体倾向以于低频率,高价格的方式出价;在实际的预测场景中,决策智能体使用十分之一的预算对广告点击率的分布进行探索,最终出价的高低价格分布与点击率预测结果分布相同。
其他文献
随着医学科学与工程技术的交叉,面向健康监测和医疗诊断的柔性传感器正面临着前所未有的发展机遇。目前柔性传感器的制备方法主要包括真空技术和溶液法,真空技术要求高的温度,而溶液法不可避免的产生溶剂污染。探索一种低温无溶剂污染的柔性传感器制备工艺符合“绿色”电子产品发展以及医疗卫生需求。基于此,本文采用摩擦工艺在不同材料和结构(粗糙光滑表面、平面曲面结构)的衬底上制备了柔性温度、压力和应变传感器及阵列。首
学位
能源体系的低碳转型为锂离子电池的高质量发展再添动力,更推动了高性能电极材料的设计与研发。与商用无机材料相比,有机电极材料以经济环保、结构灵活、设计多样等特点受到了巨大关注。但有机材料面临电导率低、易溶解等问题,限制了电池的性能与循环寿命。高导电性的共轭配位聚合物结合了有机、无机电极材料的优势,其独特的多孔结构、丰富的氧化还原活性位点等优势使其成为具有潜力的高性能电极材料。本文设计合成了两种共轭配位
学位
有机电极材料作为新兴储能材料具有绿色环保、分子可设计、结构柔性等诸多优点。其中,醌类小分子有机电极材料由于容量高、反应动力学快、合成简单等优势成为研究的热点,但小分子在电解液中的溶解问题严重影响了此类电极材料的循环稳定性。本研究通过分子设计,利用分子间相互作用氢键和π-π相互作用,抑制醌类小分子有机电极材料的溶解,实现其高循环稳定的电池性能,具体开展了如下的研究工作:(1)针对苯醌电极材料溶解的问
学位
无线微型机器人由于其具有尺寸小和灵活度高等特点,可以在难以到达的区域执行各种任务,在生命健康领域中具有巨大的应用前景。利用微型机器人实现血管内疾病的精准诊断与治疗被誉为医疗应用皇冠上的明珠。然而,由于血管解剖结构的复杂性以及血流的动态性,对微型机器人血管内介入操作提出了诸多挑战。本论文提出了一种可用于血管介入的微型机器人的设计方法,通过赋予微型磁性纤维多重形态变形能力,同时实现微型机器人多功能性,
学位
金属锂由于具有最低的电极电位和最高的理论比容量,被认为是高能量密度储能器件发展的潜在阳极候选材料。然而,锂金属负极面临的副反应、低库伦效率和锂枝晶等问题极大地限制了其作为负极材料的实际应用。目前,针对这些问题已经制定了许多策略。其中,添加电解液添加剂是能够有效改善锂金属负极电化学性能的方法。因此,本文主要利用添加剂阳离子的静电屏蔽机制来调控锂沉积行为,从而达到抑制锂枝晶生长的目的。同时,在此基础上
学位
与两电平逆变器相比较,三电平逆变器以其输出电压波形正弦度更高、谐波特性更好等优点而得到了广泛的研究和应用。本文选取T型三电平逆变器作为研究对象,对其调制策略、共模电压抑制和中点电压平衡控制等进行了深入研究。为了降低三电平调制策略的分析复杂度,本文以小矢量顶点为中心,将三电平矢量图转换为结构简单的两电平矢量图,并根据两电平矢量的分布特点建立60°坐标系对T型三电平逆变器的空间矢量脉宽调制(SVPWM
学位
近些年,在人工智能、计算机视觉等技术的迅速发展下,包含无人车在内的移动机器人得到了充分的技术支撑。在移动机器人上部署实时定位与建图系统越来越重要,这是高智能化程度的移动机器人完成人机交互、决策规划和运动控制等任务的基础。然而,在缺少GPS、北斗等全局位置信号或信号较弱的情况下,基于单一传感器的SLAM算法受到场景纹理信息、光照条件、运动控制和传感器视角的约束,即便融合惯性传感器(Inertial
学位
显示技术正朝着高清化、柔性化的方向快速发展,并引起虚拟现实等领域的广泛关注。量子点发光二极管(QLED)被认为是最有前途的下一代显示技术之一,但要实现商业应用仍存在诸多挑战,如载流子注入不平衡、器件稳定性差等问题。本文针对QLED器件中ITO-有机空穴注入层的界面电荷注入问题,通过在界面引入致密稳定的无机NiOx薄膜,设计制备了无机-有机双空穴注入层(HILs)结构,改善器件功能层能级匹配,提高载
学位
膀胱活动不足(Underactive Bladder,UAB)是排尿期间出现膀胱无法有效收缩导致排尿时间延长,排空不完全等症状,并引发如急性尿潴留等严重并发症甚至死亡的泌尿系统疑难病症。UAB的直接原因是包覆膀胱的逼尿肌层收缩无力,其成因复杂多样,在老年人群体中发病率很高。临床上现行的药物或姑息治疗仅能延缓病情,如导尿管术等,而骶骨神经刺激疗法只针对特定群体。通过植入设备直接增加膀胱排尿期的收缩力
学位
汽车保有量逐年增长,为生活带来方便的同时,也产生了更多的排放污染物,因此推行了严格的尾气排放标准。氮氧传感器作为汽车尾气处理系统中重要的组成部分,能够实时、精确地检测汽车尾气中的氧浓度,以此来实现对空燃比和氮氧化物浓度的测量,在汽车尾气处理系统中被广泛使用。由于氮氧传感器中的泵单元结构和特性复杂,实车运行中在尾气气氛变化剧烈的情况下泵单元必须快速响应以保证气氛检测精度,因此,对泵单元系统控制策略的
学位