某数据分析系统的设计与实现

被引量 : 5次 | 上传用户:jeep_lee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网产业的快速迭代和发展,不同的系统会积攒大量的用户行为数据,随之出现的问题是,普通的存储系统并不能对复杂繁多的数据进行有效的处理分析,为上层提供服务。现在需要运行大量的数据处理工作,把种类繁多的位于不同部门和系统的数据变成基于相同的同一系统并且具有相同数据结构的符合最终用户逻辑的数据,从而将数据沉淀为有用的信息价值,为互联网公司的上层决策和管理提供数据分析服务,经过时间的变化,此流程上升为公司级别的任务,因此,对于数据分析的相关问题,衍生出了许多的相关项目。对于处理数据分析过程中的种种问题,提高系统的易用性,高效性和可维护性,在日常的生产环境中,开发人员经常会不断地完善数据分析系统的功能与需求,在数据分析系统的开发过程中不可避免的存在许多问题,例如,分析工具或平台多且分散,不易管理数据,可视化不足,辅助手段匮乏,缺少合适数据分析模型和具有较高的开发成本。本文提出一种可以方便地为用户提供数据集成和聚合计算,数据可视化和分析,数据监控,数据输出服务的数据分析平台。采用任务调度系统,通过心跳机制来维持主任务和子任务的通信进程,保证了大任务量的并行计算,采用面向对象的思想,对模块进行接口化,很大程度降低了系统的耦合性,同时提高了系统的稳健性。本文详细分析了系统的功能性需求和非功能性需求,对于系统的总体架构、功能、数据库、安全、接口和界面等方面进行了概要设计,对于平台系统各项具体业务进行了分模块的详细设计与实现,对于系统各个模块进行了测试,对功能进行了展示和需要改进的地方的建议,对于系统潜在的问题进行了总结分析与展望。目前,该系统已经成为公司内使用最广的数据分析平台,服务于各个产品线,发挥着数据价值化的作用。
其他文献
管理会计是我国国有商业银行提高经营管理水平和综合经营计划与全面预算能力的重要手段。国有商业银行应整合银行内部各类信息管理系统,完善“一级法人、分级管理”体制下的
新时代扶贫开发战略,将马克思主义基本理论与中国的具体实践紧密结合,从事关人类社会发展的全局高度和世界社会主义发展的战略高度来认识与推进扶贫开发工作,涵盖了精准扶贫
<正>引言"种族身份、种族文化以及种族群体本身的产生与重建都是本地的社会符号体系与移民的社会符号体系相互混杂结合的结果。无论是什么样的设计或内容,它都是通过重建的过
<正>"碱性食物能改变酸性体质""酸性食物不能多吃"是流传甚广的传说。许多医学专业人士说":酸碱体质完全是个伪科学概念。"而又有营养界人士说:"食物代谢之后确实会形成酸性
<正>上海师范大学教育学院的吴忠豪教授《语文课须围绕本体性教学内容组织教学》一文,让我醍醐灌顶,触动很深。作为一位扎根教学第一线已有20年的语文老师,现在才明白自己这
本文阐述了内部控制的基本概念,分析了内部控制的本质与结构,并讨论了企业建立有效的内部控制的基本要素:内部环境、风险评估、控制活动、信息与沟通和内部监督,企业通过内部
工业多相催化剂是极其复杂的物理化学体系。长期以来,工业催化剂的制备很大程度上依赖于经验和技艺,而难以从原子分子水平的科学原理方面给出令人信服的形成机制。为开发更高
目的观察金匮肾气丸联合归脾丸治疗非酒精性脂肪性肝病(NAFLD)的临床疗效。方法174例NAFLD患者采用随机数字法分为中成药组和西药组,每组87例。中成药组给予金匮肾气丸联合归
<正>从《诗经》就可以看出,我国文学创作中音乐与文学的交融早在古代就开始了。音乐与文学一直以来都相互促进,相互渗透,共同发展。音乐叙事是指用音乐来描述某件事情或事物,
<正>引言马克·吐温是美国19世纪著名的批判现实主义作家。他的作品往往惯用极大的夸张来描写真实的事件,以其特有的幽默和讽刺风格批判和揭露资本主义的拜金作风、市侩作风,