【摘 要】
：
在传统的访问日志分析系统中,数据采集效率较低且日志采集目录不能被递归监听,存储系统及计算系统缺乏高可用性。构建基于分布式集群的高可用日志分析系统,通过Nginx直连Kafk
【基金项目】
：
上海市科学技术委员会资助项目(175111110204)
论文部分内容阅读
在传统的访问日志分析系统中,数据采集效率较低且日志采集目录不能被递归监听,存储系统及计算系统缺乏高可用性。构建基于分布式集群的高可用日志分析系统,通过Nginx直连Kafka的方式采集实时分析的数据和自定义Source组件的Flume采集离线分析的数据,使用高可用的分布式文件系统HDFS和计算系统Spark分别提供持久化存储和计算引擎,利用Mysql和Hbase分别存储聚合数据及明细数据。实验结果表明,该系统的各项功能符合预期结果,直连Nginx-Kafka的采集方式和自定义Source组件的Flume明
其他文献
伴随着互联网的高速发展,外卖行业的需求量大幅度上升。文章以扬州市第三方网络外卖平台运行过程中所存在的食品安全监管问题为例,研究互联网背景下,第三方外卖平台在食品安
国家为推进高职教育招生考试改革,设计了六种招生考试方式。对湖北省部分中职院校进行调研,分析几种招生考试方式的实现状况及考生的认同度,结合高职招生考试实际,得出几种招
信息技术自诞生以来就一直保持着高速发展的态势,互联网技术的发展让人与人之间的关系更加紧密。随着时间的推移,网络中的数据变得越来越繁杂,信息过载的问题变得愈加严重。
【目的】探讨肾安康冲剂治疗慢性肾功能衰竭（CRF）的临床疗效及作用机理。【方法】将72例CRF患者随机分为治疗组（36例）和对照组（36例），两组均服用爱西特片及常规西药支持对症治疗，治疗