推荐系统架构演进典型套路

来源 :2016第七届中国数据库技术大会 | 被引量 : 0次 | 上传用户:lzhwei002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
推荐系统架构是水到渠成,不是祀人忧天,避免拿来主义,探索自身特点,不要怕混乱,混乱代表空间,快速生长,逐步重构。
其他文献
按照ServerPool的Importance顺序,依次填充每个ServerPool,填充至Min个服务器。如果还有剩余机器,则进入到下一步。再按照ServerPool的Importace顺序,依次填充每个ServerPool,填充至Max个服务器,如果还有剩余的机器,则进入到下一步。再剩下来的机器进入到Free Pool中。
TDProcess流式处理核心需求:基于消息的流式处理,分布式(方便线性扩展,应对数据的爆炸那曾长计算),实时(数据消费计算延时毫秒级)。特色功能:服务级功能抽象、统一的资源管理、多种编程接口。
智能预测分析平台,针对业务用户,不用编程数据挖掘工作可以轻松完成,针对专业用户,可以通过R语言创建定制的算法(支持R语言加密),完全库内运算,无需传输数据支持50万以上的变量。
本文阐述了百度分布式Redis平台挑战与方案:近地域多机房解决方案、1分钟整机房切主、基于服务混部的Auto Scaling、MySQL&Redis融合方案。
本文主要介绍了并发写一致性、数据冗余一致性、主从库一致性、数据库与缓存一致性实践,保证数据的可用性。
大数据分析三个指标:易理解、分析能力、扩展性,数据分析常用方案:第三方统计服务、业务数据库写SQL、基于日志写统计脚本。
MHA集中管理mysql集群,负责mysql切换,向name service注册mysql服务信息,切换时发布mysql服务信息变更。MZAgent部署在app server,订阅在name service注册的mysql服务信息,并持久化到本地/etc/hosts,订阅变更,实时修改本地/etc/hosts,基于zkclient实现。
重点介绍:数据-基础数据体系构建;接口-统一查询服务;服务-DMP。建立数据流转通路,统一研发标准与命名规则,确立标准,消除二义性,随时了解数据状况。
VITESSEDATA利用Protocol扩展数据源,独立可扩展的构架,包括HDFS/Ceph/NFS容量的扩展、LOFTD带宽的扩展、DeepGreen查询的扩展,性能优于原生Heap,ColumnStore。
时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化,即时间序列化)的数据。应用各类型实时监测,如服务器状态信息。依托mysql框架,开发mysql存储引擎,以表的方式组织数据,使用已有概念,通过SQL标准接口进行数据操作,降低开发门槛利用己有mysql框架,如复制框架/HA框架。