基于ELK与Spark的可扩展征信日志挖掘系统研究

来源 :金陵科技学院学报 | 被引量 : 0次 | 上传用户:tywuyaohuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
ELK架构是目前主流的日志大数据分析解决方案之一,ELK拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是它的其通用性导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系统进行复杂业务分析扩展。为了降低日志收集和清洗的开发成本同时兼顾分析的高实时性和可扩展性,结合ELK Stack与Spark,同时引入Kafka消息队列,构建了一套可扩展、高实时性且具有良好稳定性的征信日志挖掘系统。该系统比全栈Hadoop技术的大数据系统的开发工作量减
其他文献
人才对一个企业的发展至关重要。人才的价值又与其个人管理水平、知识技能水平、综合素质等密切相关。对于任何一个员工而言,以上几项能力与素质一方面来自于学校教育,一方面
本文探讨了如何做好独立学院班主任工作途径:第一,做好新生入学前教育和入学初期教育至为关键;第二,注意班干部队伍的选拔和培养;第三,真心关爱每一位学生,努力营造良好集体
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
期刊
随着肿瘤发病率和死亡率的逐年升高,寻找新型的肿瘤治疗方法已迫在眉睫。近年来,免疫检查点阻断治疗在肿瘤治疗领域表现突出,B和T淋巴细胞衰减子(BTLA)作为一种免疫检查点分
在一些发达国家,社区卫生服务的发展已较为成熟.而在我国由于刚起步.还面临许多急需解决的问题。
四面体实体网格适应性强,尤其对于大型复杂零件的结构离散应用广泛,作者重点探讨四面体单元阶次及不同网格尺寸对结构静态分析结果的影响。首先利用SolidWorks软件建立L形套
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技