【摘 要】
：
在数据爆炸式增长的今天,日志数据具有巨大的价值,它可以帮助系统快速定位故障,及时恢复系统运行;分析客户行为,来达到业绩快速增长等。许多中小企业和机构都不能很好的利用自己的日志数据,这些企业和机构不能很好利用这些日志数据的原因有如下几点:①中小企业机构盈利有限,单独开发复杂的日志分析管理系统成本太大,得不偿失。②使用开源的通用日志分析系统,几乎没有开发成本,但是很难精确的与公司业务相结合,使之成为鸡
论文部分内容阅读
在数据爆炸式增长的今天,日志数据具有巨大的价值,它可以帮助系统快速定位故障,及时恢复系统运行;分析客户行为,来达到业绩快速增长等。许多中小企业和机构都不能很好的利用自己的日志数据,这些企业和机构不能很好利用这些日志数据的原因有如下几点:①中小企业机构盈利有限,单独开发复杂的日志分析管理系统成本太大,得不偿失。②使用开源的通用日志分析系统,几乎没有开发成本,但是很难精确的与公司业务相结合,使之成为鸡肋。ELK架构是目前主流的日志大数据分析通用解决方案之一,ELK拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是正是由于这种的通用性,导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系统进行复杂业务分析扩展。为了能同时兼顾降低前期日志收集和清洗的开发成本、分析的高实时性和可扩展性。本文将ELK-Stack和Spark相结合,形成日志采集、日志处理、日志分析和结果展示四个模块来构建一套可扩展、高实时性且具有良好稳定性的征信日志挖掘系统,用来分析系统、业务、用户三个层次的日志。在前期只需利用ELK Stack的收集和过滤插件简单的配置集群和定义过滤规则,就能实现日志的收集和处理,这样作比全栈Hadoop技术的大数据系统开发工作量减少60%以上;再利用Elasticsearch的高实时性,进行简单的数据实时分析,就能达到分析实时结果的要求;最后把过滤后的数据传输到HDFS中,利用Spark框架进行个性化编程,这样该系统就具有可以根据企业需求灵活进行自定义分析组件的优点。同时,引入Kafka消息队列来解决传输过程中的数据丢失问题。本文还进一步研究了多种ELK与Spark对接的方法,分析了各种方法的优缺点,优化了 ELK与Spark对接方式,使其在处理效率上得到了很大的提高。图22 表3 参数50
其他文献
矿井下的无线电波透视是一种应用广泛的矿井物探方法,可以探测出陷落柱、老空水、煤层间的断层等多种地质构造,是各大矿区最常应用的矿井物探手段之一。为了进一步探究无线电波透视的相关应用,本文针对无线电波多频率透视,从理论分析、探测方法、数据处理及工程试验等方面,进行了系统的研究,研究的成果如下:1在薄煤区和断层区进行了多种频率下的无线电波透视探测,将得到的各种频率的场强和吸收系数进行合理的处理,并根据处
本文所研究挤扩桩单桩弹性理论解选用荷载传递法作为基础。在相似理论原理指导下进行室内小比尺模型试验,并通过成层土现场试验和均质土模型试验对挤扩桩承载理论进行验证,相关研究结果如下:(1)根据挤扩桩的受力特性结合桩基荷载传递法基本思想,建立了挤桩承载力计算理论。在理论上,采用双曲线函数描述桩端、盘端和桩身引起的沉降与阻力之间的关系,及桩与土相互作用的非线性特性。(2)通过6组试验桩沉降曲线结果表明,其
深部大断面硐室因其断面尺寸较大,岩层中初始地应力较高,导致破坏失稳严重,控制难度很大。考虑将密度较小、韧性好、抗裂性能强的橡胶混凝土应用于大断面软岩硐室支护,减小硐室的应力集中现象,保证硐室及支护结构的稳定性。通过选取粒径为20目(0.85 mm)的橡胶颗粒,将0%、5%、10%、15%、20%橡胶掺量的橡胶混凝土试块进行抗压强度试验、劈裂抗拉强度试验和50次高应力等幅循环加载试验研究。并利用数值
结题报告编号:JKY10159时间:2019年5月——2020年6月一、课题提出背景随着我国经济的快速发展,人们的物质生活水平得到了极大的提高,这使得他们有了更多的精力和时间去关注生
如今,城市化的脚步越来越快,轨道交通在疏导城市庞大的客流中扮演着非常重要的角色。地铁是轨道交通的主力军,拥有载客量大、平稳、快捷且低碳等优势。近年来各大城市的地铁建设明显提速,地铁客运人数逐渐攀升。若没有合理的导向标识引导乘客在地铁站内快速完成进站、出站及换乘,不仅会影响乘客的出行效率,还会导致地铁站运营效率降低。因此如何更有效的设置导向标识是地铁站建设的重点。本文第一步明确导向标识的定义,接着阐
在过去的几年间,网络预约租车服务(以下简称“网约车服务”)在国内井喷式发展,极大地冲击了现有城市交通系统中的其他出行方式,改变了出行者的出行习惯。然而,部分国家和地区出于对公共安全和社会公平等因素的考虑,出台了严格限制或者禁止网约车服务的政策法规。因此,本文以成都市滴滴出行用户为例,使用陈述性偏好问卷调查和百度地图API服务,研究网约车用户使用特性及其可替代出行方式选择行为。最终论文,揭示网约车用
由于水泥土易受到氯盐、硫酸盐的侵蚀作用以及干湿循环等复杂环境的影响,造成其耐久性降低,因此向水泥土中添加掺合料来改善其性能。论文采用偏高岭土作为掺合料掺入到水泥土中,开展了不同偏高岭土掺量的水泥土在不同龄期下的力学性能试验,得出了偏高岭土的较优掺量,然后对较优掺量的偏高岭土水泥土进行了四种不同环境下的耐久性试验。研究的主要内容如下:(1)进行了不同掺量偏高岭土(0%、1%、2%、3%、4%)水泥土
随着现代科技的发展,我国的经济情况开始迅速增长,自21世纪初期,我国的建筑行业发展迅速。但是,随着建筑行业逐渐发展,建筑废弃物、粉尘、噪音以及污水等附加的产物导致环境被破坏,生态环境的破坏会导致一系列的危害。因此,绿色施工逐渐开始出现,通过绿色施工的方法,将减少造成环境污染的一些影响因素,并且通过科学的方法对建筑所需要的安全、质量和工期等进行控制,对建筑资源进行合理的利用,达到保护环境、增加安全质
瓦斯抽采是瓦斯治理的根本措施,钻孔间距作为抽采钻孔设计的关键参数之一,目前常采用一个工作面对应一个固定钻孔间距的设计方式,这种设计方式可能会造成抽采不达标或者增加生产成本等问题,因此亟需对抽采钻孔间距进行进一步的研究。为此,本文提出煤层瓦斯抽采单元精细划分及钻孔设计方法,并对该方法进行了现场应用。主要研究内容和结果如下:(1)充分考虑煤层各种关键因素的影响并进行深入分析,构建了以采掘规划、瓦斯赋存
中国作为一个发展中的国家,近年来城市规模再不停地扩大,建筑工地逐渐增加,工地搅拌车交通管理问题也随之而来。对搅拌车车身污染的检测与识别、工程搅拌车的车牌识别相关问题尤为突出。搅拌车滚筒表面的信息量巨大,对于人工判断搅拌车滚筒表面的污染情况,工作效率底,且缺乏客观性。另外,目前工地搅拌车的车牌信息的提取与识别,成功率也有待改进,并且在一些特殊的情境下,对于车牌的定位、车牌字符的识别由一定的直接影响。