论文部分内容阅读
通过分析网络数据采集的特点,提出了网络数据采集系统的设计目标,即支持关键网络指标实时计算和查询、支持多数据源和多消费者、支持实时采集和批量采集且具备线性扩展能力。采用Flume、Kafka、Storm、Hadoop等开源技术完成了系统架构设计。对架构实施可能面临的挑战提出了应对策略。
基于开源技术的网络数据采集系统设计
【摘 要】
：
通过分析网络数据采集的特点,提出了网络数据采集系统的设计目标,即支持关键网络指标实时计算和查询、支持多数据源和多消费者、支持实时采集和批量采集且具备线性扩展能力。
【机 构】
：
中讯邮电咨询设计院有限公司
【出 处】
：
邮电设计技术
【发表日期】
：
2015年12期
其他文献
胶质瘤是起源于神经胶质细胞的肿瘤，是颅内最常见的原发性恶性肿瘤，近年呈逐渐上升趋势，具有发病率、复发率、死亡率高和治愈率低的特点。恶性胶质瘤的治疗依然是神经外科所面临
医药代表这个职业在中国从上个世纪90年代开始发展至今,一直备受争议,甚至被认为是药价虚高的罪魁祸首,今年从国新办到国食药局都对医药代表这一职业的性质和工作内容都做了
基于所建立的搅拌摩擦焊接过程热输入模型和热力耦合有限元分析模型,对带圆孔铝合金板的搅拌摩擦焊接顺序进行了有限元研究,并得到了焊接过程中不同焊接方案下的温度、瞬态应
我国城市管理机构由建国初期的临时性机构到目前常设的行政执法机构,经历了几十年发展历程。城管执法人员代表政府行使公权力,维护市容市貌,其工作与群众生活联系紧密,其素质
基于热传导方程及热弹性力学理论,建立了铝合金焊接热力耦合模型及有限元求解方法,利用红外线热成像仪实测温度场结果来修正高斯热源模型参数,确定了给定焊接参数的高斯热源
随着中国电子商务的飞速发展,消费者的个人信息保护问题受到了越来越广泛的关注。本文在研究当前电子商务中消费者个人信息保护的现状并分析原因之后,提出以消费者加强防范意
<正>近年来,随着烟草产业的迅猛发展,一些假冒伪劣的烟草商品充斥于市场,这对消费者来说是一种无形的伤害。于是,一些烟草厂家常常会在烟包的防伪印刷上精进变化,为捍卫自己