【摘 要】
:
近几年,互联网的高速发展,数据量呈指数上涨,我们已然进入了“大数据时代”。在这样的互联网时代里,数据发挥着越来越重要的作用。互联网先驱Google、IBM等公司首先意识到了大数
论文部分内容阅读
近几年,互联网的高速发展,数据量呈指数上涨,我们已然进入了“大数据时代”。在这样的互联网时代里,数据发挥着越来越重要的作用。互联网先驱Google、IBM等公司首先意识到了大数据蕴含的巨大价值,率先投入资源进行研究。对于相对落后的中国互联网,各大公司也纷纷崛起追赶。本课题通过对大数据研究,开发大数据产品,提供给用户一个数据提取和分析的自助化平台。此平台利用已有用户数据资源,通过提取和分析,将杂乱数据变为具有商业价值的可用资源,解决产品经理们面临的数据难题。本系统基于腾讯分布式数据仓库(TDW)之上进行开发,利用TDW存储和计算资源实现数据提取和分析。本系统分为四大模块:TDW接入模块、任务调度模块、权限管理模块和Web功能模块。其中TDW接入模块将TDW存储数据表配置信息和各业务的分析指标接入本系统,供提取和分析使用,同时将计算任务通过任务调度,接入TDW中运行,获取或者上传数据。用户通过权限管理模块,获得相应数据表、分析指标的访问权限。而后,用户可在Web功能模块中完成数据提取和分析。其中用户可根据需求筛选数据子集、上传文件、对提取任务结果、上传数据或者大盘数据进行相应指标的分析。本文提供基本分析、对比分析、交叉分析、下钻分析、聚类分析、相关分析等分析方法,根据用户所选指标和数据包,自动选择分析方法进行分析。目前系统可供用户提取的数据约为100PB,可分析指标超过5000个,能够满足产品经理日常产品运营、策划等需求。经过性能测试,结合产品运营报告,对系统进行了优化,提供给用户一个稳定、可用、易用的数据分析平台。
其他文献
<正>0引言随着人类进入探索海洋、研究海洋、利用海洋的时代,海洋逐渐成为人类生存发展的第二空间。海洋测绘正是伴随航海实践和海上探险活动的开展而逐渐发展起来的,它是一
<正>一、课题研究的背景及意义1、新课程改革的需要。教育是培养人才的基础,教育改革已成为世界教育的潮流和必然。让学生学会学习,培养学生终身学习的能力,是新课程改革的重
目的探讨乙型肝炎病毒表面抗原(hepatitis B surface antigen,HBs Ag)阳性母亲新生儿外周血白细胞介素-10(interleukin-10,IL-10)和白细胞介素-12(interleukin-12,IL-12)水平
<正>"国际口译大会暨第五届全国口译实践、教学与研究会议"于2004年11月6日和7日在上海外国语大学召开参加此次盛会的有来自爱尔兰、英国、瑞士、法国、西班牙、美国、日本、
目的:探讨小剂量普通肝素对老年感染性休克患者血清降钙素原及肝素结合蛋白表达的影响及临床意义。方法:选取感染性休克患者80例,随机分为对照组和小剂量普通肝素治疗组,每组
<正> 按照科学学的观点,任何一门学科的演化要经过四大阶段,即准科学——前科学——常规科学——后科学。如果说,准科学和前科学是科学的胚胎和幼年,那么常规科学和后科学则
<正>建立与消费者的长久关系是现代经营管理的重要策略之一。其实质是提倡与消费者建立能动的关系(LIVING RELATIONSHIPS)。这是一种在以人为本模式上建立起来的关系,是高度
为了提高美国学生的外语能力以适应经济全球化的需要 ,美国教育界和外语界制订了《2 1世纪外语学习目标》 ,即 :Communication(交际 ) ,Cultures(文化 ) ,Connections(贯连 )
北京万科自林少洲之后,历任数位总经理,到了毛大庆任上,北京万科终于有了位能交出靓丽成绩单的北万领头人。在万科的这几年,毛大庆业绩突出,无疑也是各顶级猎头"追猎"的首选
<正>一、沧州休闲旅游业现状与形势分析1、沧州休闲旅游业发展现状分析在"十一五"期间,沧州市已经将旅游产业作为全市八大产业之一和第三产业的重要产业加以培育和发展,全市