基于特征标签的商家画像系统的设计与实现

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:daxing_hhx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着“推荐式”流量的兴起,用户画像系统逐渐变成了近年来的热门研究领域。阿里的达摩盘、百度的司南、腾讯的社交大数据平台等系统的出现,代表“用户画像”逐渐成为了一个互联网企业所必备的能力之一。但随着用户画像系统的飞速发展,传统的用户画像系统暴露了诸多弊端,例如业务不聚焦、时效性差、分类粒度太大。本文通过设计实现基于特征标签的商家画像系统,解决了公司在商家运营场景下精准触达困难、数据分散、业务变更频繁、商户难以分类等痛点。本文将商家画像系统分为特征子系统和标签子系统两部分,通过特征子系统实现数据的迁移、处理、存储等功能,通过标签子系统实现商户圈选、商户判定、标签计算等功能。本文的主要工作包括:(1)调研用户画像系统的发展现状和潜在问题,分析公司实际业务痛点,结合公司实际业务阐述基于特征标签的商家画像系统如何解决现有问题。(2)对系统进行存储设计,分析系统核心数据的特点。离线特征数据具有离散性、数据量大的特点,选择列式数据库HBase作为存储并针对Row Key设计进行优化。实时特征数据具有实时性要求高、读写频繁的特点,选择Redis作为存储。标签数据具有不变性、查询时效性要求高的特点,选择Elastic Search作为计算完成的标签数据的存储。(3)对系统核心功能进行设计与实现,重点对特征数据迁移和标签计算两部分进行了设计。特征数据迁移采用Spark SQL并行的将特征数据由业务的Hive表迁移到HBase集群中,并且通过预分配Region的方式避免数据倾斜。标签计算通过分片的方式在内存中实现标签的多机并行计算,通过基于Redis的分布式锁控制并行度,使用Aviator求值器进行表达式预编译,加快计算效率。本文的研究结果表明,基于特征标签的商家画像系统是一个业务属性聚焦的用户画像系统,能够解决公司商家运营过程中遇到的数据处理问题和商户分类问题。商家画像系统上线后成功节约了企业管理成本,提高了个体商户价值。
其他文献
学位
学位
2019年铁路货运量为431773万吨,比2018年增长20142万吨,随着铁路运量的不断加大,铁路的维修和养护工作同时水涨船高,产生的废旧线上轨料与之增多。从营业线上淘汰下来的废旧轨料就近分布在铁路沿线上,根据相关的规定,废旧轨料的收取率需要达到90%以上,废旧钢轨属于废旧轨料中的一种且收取率要达到100%。废旧轨料是重要的再生资源,如果不及时收取,会给铁路部门增加运营成本。废旧轨料的收取一般都
学位
学位
本文论述了陷落柱的构造形成机理及物理特征,并提出了探测煤矿陷落柱位置及其富水性的地面物探方法,采用三维地震法可确定陷落柱的空间分布形态,选用地面瞬变电磁法可确定陷落柱的含水性。
目前我国集装箱港口吞吐量日益增长的情况下,港口集疏运结构不合理的问题仍然突出,提高铁路集疏港比例,提高海铁联运量是优化港口集疏运系统的重要措施。因此,在国家《“十三五”港口集疏运系统建设方案》和《“十四五”综合交通运输发展规划》中提出,将重点突破铁路进港“最后一公里”,提升港口铁路疏港率,加快推进港口集疏运系统建设,为促进港口转型升级、多式联运发展、推进交通运输供给侧结构性改革提供支撑和保障。本文
自郑州东车站开始办理高铁货运业务以来,货运量逐步提升,业务自身逐渐趋于平稳,为国内高铁货运贡献了宝贵的实践经验。虽然高铁动车组以其自身的准时性、高速性,在运输过程中能够满足货物的时效性要求,但结合国内快递市场与车站自身的总体情况分析,可知当前的货物在客运高铁站内滞留时间过长,在一定程度上消弭了高铁动车组的优势。为缩短货物在高铁车站内部转运时间长的问题,本文将以郑州东车站为研究对象,对站内货物货运通
高光谱成像(Hyperspectral Imaging,HSI)技术自上世纪末首次用于遥感技术以来,发展迅速。如今HSI技术不仅应用在遥感和地球观测领域,而且在农业,食品加工,监视,眼保健,环境和化学成像等其他领域也被广泛应用。作为一种新兴技术,HSI技术结合了先进的光谱学和成像技术,可为光谱和空间分析供足够的信息,因此被认为适用于微纳米级材料的分布研究和特性研究。目前,HSI技术的应用已经从宏观
近年来,“订阅经济”的时代已经来到。如今的消费者有了一系列新的需求。他们想要定制化,而不是大众化;他们想要可以预见的收获,而不是仅仅拥有所有权。正因如此,如今的企业急需改变商业模式,从原来的以商品为中心的模式变为订阅业务为中心的商业模式。从全球范围内看,一系列以订阅模式为主导的业务模型正在急速发展,涌现出一批新的商业巨头:Netflix,Amazon Prime,Spotify,Salesforc