基于流式计算的广告特征提取系统的设计与实现

被引量 : 0次 | 上传用户:yjyu2012
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着互联网日新月异的发展,信息呈现出剧烈的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。对于绝大部分的商用搜索引擎,像Google、Bing和Baidu等,通常在用户查询响应的结果页中提供结构化的Web结果,同时也插入基于流量的点击付费模式的文本广告。为了在页面上最佳位置展现最相关的广告,需要通过一些机器学习算法来动态估算给定上下文中一个广告被点击的可能性。上下文可能包括广告权重、用户偏好、历史查询、历史点击等信息。一个主搜索引擎可能每秒钟处理上千万次查询,每个页面都可能会包含多个广告。为了及时处理用户反馈,需要广告数据处理引擎保证低延迟、可扩展和高可靠性。本文所介绍的流式广告特征提取系统就是这样一种实时的广告数据处理引擎,通过从搜索引擎实时生成的检索记录的广告展现日志和点击日志中提取下游—广告点击率预估模型中各个机器学习算法所需要的广告特征数据,不断训练、更新广告预估被点击的概率,搜索引擎依据这些实时更新的广告预估点击率来决定下次检索时应该展现什么广告,以实现用户、广告主与百度三方的共赢。本流式广告特征提取系统基于百度自主开发的流式计算框架Task Manager,结合了HDFS、MapReduce等相关技术方法。在百度凤巢广告系统的应用中,通过本流式广告特征提取系统,广告展现日志和点击日志数据反馈到广告点击率预估模型的时间缩短至分钟级,系统每天处理的输入广告日志数据量达到数十T,生成的广告特征数据量达到数百G。本文首先介绍了流式广告特征提取系统的项目背景,然后将项目所涉及的相关技术背景和项目所使用的相关技术、框架做了简要的说明,接着详细描述了系统的需求分析、总体设计和模块设计,并对系统的几个关键模块的设计和实现进行了详尽的论述,最后对项目和论文的工作做了一个总结,并且对后续的下一阶段工作进行了展望。
其他文献
<正> 历来中医都认为自汗属阳虚,盗汗属阴虚,如明虞抟《医学正传·汗证门》中云:“其自汗者,无时(?)濈濈然出,动则为甚,属阳虚,胃气之所司也。盗汗者,寐中而通身如浴,觉来方
肾毛细血管瘤临床罕见,现报道陕西省渭南市中心医院泌尿外科诊治的1例患者。1病例报告患者女性,52岁,于2015年5月31日因"右侧腰背部疼痛伴肉眼血尿3d"之主诉入院。既往高血压病
1999年以来,我国高等教育走上了跨越式发展的道路,高等教育从精英教育向大众化教育转变,其规模以前所未有的速度取得超常规扩张。各高校招生的学生数量急剧增加,学校规模迅速
高校辅导员是教师队伍的重要组成部分,是大学生思想政治教育工作的骨干力量,是大学生健康成长成才的指导者、引路人和知心朋友,是保证高等教育事业持续健康发展不可或缺的重要力
《剪灯新话》为中国明代小说家瞿佑的代表作,在日本流传之后,对日本文学产生了很大的影响。中日两国关于《剪灯新话》与日本文学的比较研究并不少,但是从一篇具体的文章来分
目的:建立苯甲酸雌二醇(estradiol benzoate,EB)损伤雄性小鼠动物模型,分析EB对小鼠睾丸细胞增殖及睾丸组织中ATP含量、糖酵解产物、限速酶及单羧酸转运蛋白的变化,探讨EB导
随着医疗卫生体制改革的深入,医疗行业在控制医疗费用、规范诊疗行为、提高服务质量等方面存在着诸多挑战。临床路径,作为一种质量效益型医疗管理模式,是应对上述挑战的重要
彩票业在国民经济中所占地位之重要,已被一些国家放在“软财政”或“准税收”的位置,我国政府相关部门对彩票业也越来越重视。随着我国工业化程度的逐步提高,生态环境的不断
2014年第二届夏季青奥会在中国江苏南京召开。这场盛大的国际体育赛事盛会吸引了民众的广泛关注与参与。南京青奥会之所以产生如此巨大的影响力,与媒体的报道分不开。媒体通
中药汤剂又称汤药,是我国历史悠久,应用最广泛的一种剂型.汤剂具有特殊的药性、煮法及特殊的服法,所以在多种疾病中产生了特有的疗效.现将汤剂的服法概述如下:
期刊