论文部分内容阅读
通信行业的发展正经历从语音经营向流量经营、单一业务向融合业务、移动通信向移动互联网的转型。终端业务已经发展为“云-管-端”战略任务中的重要环节,承担了企业转型任务的重担。终端不仅是电信运营商的资源和营收来源,更是撬动增值业务迅速发展和数据流量增量且增收的重要杠杆。随着终端业务的不断发展,每日将产生与终端业务直接相关的数据达十几万条,间接相关的数据多达十几亿条。此时,已有的终端管理系统已经无法满足市场部门对如此海量数据分析处理的需求。本文首先分析了大数据相关的存储、处理和分析技术,确定了系统研发的技术路线。通过对现有的业务系统和市场部门的调研,分析了终端管理的业务需求以及现有终端管理系统存在的不足,得出了本系统的功能需求。基于需求分析结果,从逻辑架构、应用结构和技术架构给出了本系统的系统架构设计,确定了与其他业务系统的系统边界。本文介绍了使用的开发技术和平台,给出了大数据基础架构模块和数据采集接口的定义与实现。本系统以Hadoop服务器集群为基础;与CRM系统的数据交互采用现有的文件接口形式,将终端销售业务数据以文件形式保存到HDFS中;使用Sqoop技术对于其它业务系统中的数据进行采集和存储;采用Yarn框架实现对HDFS中存放的终端营销数据进行分析处理;通过HBase、Hive、Thrift和J2EE技术分别提供对海量业务数据的查询、批处理查询、编程API和Web访问接口。最后,本文介绍了终端营销分析系统的测试和试点应用情况。本系统以大数据基础架构管理为基础,可实现平台系统的快速部署和扩容,利用Hadoop相关技术实现对定制终端的采购、存储、销售及其他业务相关数据的存储和分析功能,满足业务部门对终端信息分析的需求,可及时发现可能存在的拆包、串货等问题,有效地保障了消费者和公司的利益,提高了终端销售能力,规范了终端运营管理流程,提升了业务部门对定制终端全生命周期的管控能力,助力TDLTE终端业务的发展。