【摘 要】
：
从日志数据采集、存储、分析等层面研究分布式计算技术在网络日志分析中的应用。通过Flume采集海量网络日志,利用Spark并行计算及Spark Streaming流式计算技术搭建了网络日志
论文部分内容阅读
从日志数据采集、存储、分析等层面研究分布式计算技术在网络日志分析中的应用。通过Flume采集海量网络日志,利用Spark并行计算及Spark Streaming流式计算技术搭建了网络日志分析平台。平台针对大数据在批量处理和实时计算时存在的问题提出优化的架构方式,解决了冲突问题。经实验表明,该平台能对大数据级别的网络日志进行实时与批量分析,而且具有高吞吐能力、高扩展性、高容错性的特点,符合设计目标。
其他文献
国内许多研究表明,我国上市公司的大股东可以利用控制权转移来牟取私有收益,加之我国控制权转移市场尚不成熟、监管制度不完善使得内幕交易现象严重。本文采用事件研究法,以
本文重点讲述了中国石油电子公文系统的一些实用的推广方法和具体实现做法,这些做法不单单适用于该系统,也同样适应于其他软件的推广使用,对软件的推广应用有一定的参考价值
本文将平行结转分步法和约当产量法相结合,并辅以案例加以说明。同时指出,有期初在产品时,采用平行结转分步法会导致成本扭曲,并提出了解决方法。
高中阶段是创造性思维发展的关键期,高中生所具有的心理特点以及对知识的汲取使得中学教育成为培养学生创造力的重要阶段。在诸多影响高中生创造力的变量中,情绪是心理学家研
传统的DBB模式从组织层面上导致了设计与施工的分离,使得施工经验和知识无法有效应用到设计中,会产生一系列的可施工性问题。整合设计与施工的组织模式,实施设计施工一体化管
纤维素、半纤维素和木素是植物纤维原料的三大组分,是自然界最丰富且可再生的生物资源。半纤维素是连接纤维素和木素的一类不均一的多糖,但其分子的分支度高、多分散性以及无
随着社会经济的快速发展,城市化步伐迈进的速度逐渐加快,在此背景下,全国范围内的城镇与乡村均实现了开发,在其规模日益扩大的情况下,对生态环境有着严重的破坏,同时也遗失了
采用蒙医药浴加火针治疗79例原发性膝关节骨关节炎。结果：治愈13例，占17％；显效39例，占49％；有效19例，占24％；无效8例，占10％。总有效率90％。
以机载雷达和干扰机为例,分析了机载设备电磁兼容问题产生的原因,建立了电磁相互干扰的理论模型,探讨了载机在不同干扰方式下雷达作用距离计算方法,推导了互干扰时,载机在掩
在批判现代性的时候，我们必须注意现代性所确立的世界观的三个基本特征：“主客二分”、“工具理性”、“人成为欲望上的绝对主体”。正是这三个特征共同组建了现代性世界图景。