大数据平台的自动化运维及监控技术分析

来源 :家园·电力与科技 | 被引量 : 0次 | 上传用户:liongliong428
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:大数据技术的发展和大数据平台的应用,使很多行业的工作发生了翻天覆地的变化。在营销监控工作中,通过基于大数据平台构建营销监控自动化运维系统,不仅可以实现高效的数据搜索和存储,更还可以实现高效的数据库管理、监控及数据分析与处理。可以说,大数据平台为行业发展提供了很大的先导性,是提高服务质量与经济效益的有效助力。故而有必要对大数据平台的营销监控自动化运维展开深入研究。
  关键词:大数据平台;营销监控;自动化运维
  引言
  随着科学技术的飞速发展,信息技术的更新和复制提供了大量的数据,为社会各阶层的信息技术发展提供了机遇,并作为一个机会将继续这样下去。增加词的记述和定义、以及信息的记述、“大数据”这个词在很多人中都提到了字段。因此,作为集成的全球应用平台,数据管理、业务管理、数据库访问控制等,提高业务效率和服务质量,降低运营成本。从海量数据的概念、特征和业务度量入手,分析了知识监控方法与知识监控方法相结合的一些重要因素。高质量的数据管理和维护集中在大型数据库的理论基础上。
  1自动化运维技术概述及大数据平台的应用优势
  一个企业经营与发展离不开对系统的运营维护,运维工作对企业发展战略的制定、经营管理重心的选择有着重要作用,是管理层做出重大抉择的重要依据,也是系统稳定运行的重要保障。运维工作较为复杂,工作量巨大,尤其是互联网企业,系统24h运转,数据规模庞大,涉及各个领域,且相互之前存在影响,需要投入大量的人力、物力。自动化运维可以将IT运维工作中日常性的、重复性的、程序性的工作自動化,将人工执行转化为系统自动化执行,并对各项数据进行整合和逻辑分析,总结出发展趋势,为企业提供更好的帮助。基于大数据平台的自动化运维,结合了大数据技术的整合、分析能力,使IT运维工作得到了升华。自动化运维应用大数据技术能够提高运维流程的可控性,满足企业的个性化需求,让企业决策层能够更加清晰、直观的看到公司的业务流程,加强他们对公司的把握能力。同时,大数据平台下的自动化运维也能提高运维工作的透明度,有助于系统版本的叠加,更能清晰的分辨出其中的问题,为优化提供方便。自动化运维与大数据平台相结合,还能减少人为因素造成的失误,加强信息传递、处理的速度,提高运维工作的整体效率。另外结合监控技术,充分发挥大数据技术的优点,还能对数据和工作记录进行实时记录和跟踪,做到及时预警、及时应对,让运维工作更加轻松、灵活。
  2大数据平台的自动化运维及监控技术分析
  2.1大数据建模技术与存储技术
  只有对分布、多源与异构数据整合问题进行有效处理,才能够真正实现大数据的统一管理与存储,大大提高数据信息处理的效率。现阶段在数据建模方面的研究,人们更加侧重于层次、关系网状联通和对象的面向性的讨论,其在大数据建模方法形式的具体应用,能直观地呈现出大数据管理面临的难题。大数据统一建模具体步骤为立足于大数据特征总结归纳、明确关系、抽象化地处理各类数据信息,这样才能够确保大数据建模的合理性与完整性。其中,大数据的根本信息、协调联动机制信息及功能性问题信息,是经大数据分析后被定义的三类关键信息。大数据的不同特征会影响分类聚合的成效,针对顶层数据信息的结构而言,非结构化与结构化之间具有很大的区别,相关人员需要满足进行数据研究工作的要求。针对自动化运维模型的接口,统一接口的综合构成直接决定着所有分类索引、树形索引及存储索引,相关人员可借助该接口实现对多源大数据的关联与管理。且自动化运维管理平台的功能主要包括企业设备资产管理、数据中心定期巡检等,这不仅能够为企业的运维管理提供必要的支撑,还能够有效提高运行效率、节省运维成本。
  2.2自动化运维模型的接口
  它对不同类型分类索引之间统一接口的整体配置起着决定性的作用,保存的索引和索引那棵树。用户可以创建一个多源的管理和沟通:管理系统更新项目平台“乐”包括数据中心的日常检查、业务设备的管理等,为企业日常服务提供可靠的支持,提高业务效率,并将其降到最低限度。在面向目标的设计过程中,本文提出并描述了信息服务系统面向的几个行业。一些过程和计算算法的大量数据很难完全转换或集成到数据库函数中。因此,需要从一些功能中提取数据,并用传统的分析工具和软件进行分析。但是,分析和分析任务的数量正在逐渐增加,需要扩大或增加新的服务器。但是服务器比因特网贵。网格配置将有助于降低系统成本。计算网格的目的是在不同的计算机之间分配任务,完成不同的任务,从而有效地提高生产率。降低系统的总成本。
  2.3自动化运维功能
  大数据平台的营销监控自动化运维主要具备以下几项功能:1)可有效采集数据文件的传输状态数据,当出现数据流断点,且断点时间>系统设定值范围时,会自动发出报警信息;2)可自动比对分析采集到的数据文件信息,包括文件大小、文件字段名称、文件明细记录数、文件字段长度等,当比对结果>系统设定值范围时,会自动发出报警信息;3)可实时监测数据中心的ETL调度系统的性能状态,当系统表现出不稳定性或是出现挂死的问题,且>系统设定值范围时,会自动发出报警信息;4)可在OGG系统升级期间采集各系统的状态数据,并根据超时时间发出系统不可用的报警信息;5)可自动比对分析停电、客服等数据实时性较高的模块对应表数据的最新记录时间与当前时间,当其时间差>系统设定值范围时,会自动发出报警信息;6)可实时监测营销监控系统数据库的表空间,当其快要达到临界值时,会自动发出报警信息;7)可实时监测指标数据的库表信息和库表结构等,当库表结构发生变更和调整操作时,会自动发出报警信息,并自动生成变更操作记录;8)可根据用户的自定义自动生成各种指标数据报告;9)可基于营销监控业务规则配置相关故障预案,以实现智能预测和预防。
  2.4数据质量管理体系
  自动化运维需要管理不同系统、多层链路关系中的数据,非常复杂,且要保证数据信息的完整性、唯一性、真实性、准确性、合法性、及时性,需要与大数据平台相结合,建立数据质量监控管理平台。数据质量管理平台要以系统定义为标准,对系统采集的数据进行重新整合和管理,统一校对、统一处理,保证数据信息的一致性。数据质量管理体系要实现数据集中化管理,要满足多系统的数据处理需求,提供标准的数据接口,供各个分支系统调用,实现数据共享,提高数据传递的速度和完整性,实现基础数据的统一管理。数据质量管理体系与大数据平台相结合,能建立智能算法程序,实现自动化处理。通过智能算法程序,可以科学设定基础指标阀值和预警规则,对自动化运维平台采集到的数据信息,进行多个维度的比对和分析,条件处理一系列自动化计算操作,根据运维对象的特性和状态,生成多种形式的图表。并且要根据程序设定的数据链路状态条件,获取数据链路性能状态值,实时监控系统运行情况,并及时发出异常状态警告。
  结语
  总而言之,当前大数据平台已渗透到人们生产、工作及生活的各个方面,在新时代背景下,大数据平台的应用也不断深入。各领域充分利用基于大数据平台的自动化运维技术与监控技术,不仅能够提高自身的运营效益与可靠性,还能够更加高效、高质地处理自身发展中产生的海量数据,从而促进自身的可持续发展。
  参考文献:
  [1]王晓天.基于虚拟化技术的云数据中心构建及自动化运维管理[J].软件工程,2020,23(11):27-29.
  [2]沈晓慧,廖永行,童惠祺.自动化运维管理系统的设计与实现[J].通讯世界,2020,27(6):134-135.
  [3]王二辉,周高强,李英杰,等.基于大数据平台的自动化运维及监控技术研究[J].通讯世界,2020,27(1):158-159.
  国网河北省电力有限公司饶阳县供电分公司  河北衡水  053900
其他文献
摘要:政工工作对于企业发展十分重要,是企业各项工作开展的基础。通过高效开展政工工作,能够提高企业凝聚力与向心力,推动企业向前发展。本文分析了新形势下政工工作面临的调整,探讨影响政工工作时效性的因素,思考新时代下有效构建时效性政工工作的策略,仅供参考。  关键词:企业政工工作;挑战;对策  引言  市场经济发展过程中,中小企业数量不断增加,加剧了企业间的竞争。要想在激烈的市场竞争中稳固立足,企业必须
期刊
摘要:近些年,随着社会发展,人们的生活水平提高,对电力的需求量增加。目前在供电用户的电能计量装置中,还存在电能计量的准确性问题,而用电稽查检查工作人员未能总结丰富的经验,没有采用科学的方式进行电能计量分析、处理,影响用电稽查的工作效果,因此,在用电稽查的工作中科学使用先进的电能计量技术,遵循科学化的工作原则,在合理使用电能计量技术的情况下,提升用电稽查工作效果,为其后续发展奠定基础。  关键词:电
期刊
摘要:在当前社会发展速度逐渐加快的趋势下,对电力资源的需求量也在逐年上涨,要求供电企业必须提升自身供电服务质量,满足社会生产生活的用电需求。在供电公司的运营与发展中,低压业扩报装是一项关键工作,能够联系企业与用户之间的关系,从用户角度出发了解其用电需求,提供个性化供电服务。但是,由于低压业扩报装会受到多种因素的影响,比如技术因素和管理因素等等,因此依旧存在诸多问题需要解决。本文将对供电公司低压业扩
期刊
摘要:在电力系统当中电气自动化技术是非常重要的技术环节,通过利用电气自动化技术,不仅能够提高电力系统运行的效率,更好地实现电力服务智能化,实现实时仿真工作,同时也能够减少成本的支出,为电力企业创造更多的经济收益,保证电力供应的稳定性,满足人们对于电力资源的需求。基于此,本篇文章对电力系统运行中的自动化技术进行研究,以供参考。  关键词:电力;系统运行;自动化技术  引言  随着现代社会科学技术的快
期刊
摘要:导体在输送电能的同时,因自身存在电阻会产生发热现象,导致一些电能的损失。在当前科技水平下线损不可避免,但可通过采取针对性措施尽可能地降低线损,更好地提高电能利用率。在配电网络中,常会应用配变变压器负责低压区域的电能输送。随着我国电力用户数量的不断增加,配电网覆盖范围不断扩大,降低台区线损,在提倡节能环保的社会背景下显得尤为重要。  关键词:低压;公用台区;线损原因;降损措施  1低压配电台区
期刊
摘要:随着当代社会的持续性发展,人们对于电能资源的需求不断提高,供电压力持续提升的同时如何有效强化电力系统的供电性能,并做好配置建设显得非常重要。作为电力系统的供电基础环节,电缆敷设技术属于非常重要的施工管理环节,只有在配电工程建设效益基础上才可以保障电力安全、高效、低损的运输。对此,为了进一步提升电力工程综合建设水平,简要分析了电力工程中配电电缆敷设技术,希望可以为相关工作者提供帮助。  关键词
期刊
摘要:信息化背景下,智能技术作为新型技术在较多领域中应用,特别为电子工程自动化控制领域中应用效果较好。为充分发挥出该项技术的作用,提高电子工程自动化控制水平,需做好电子产品设计工作,有效使用自动化控制智能技术、可编程逻辑控制技术,同时加强智能客户终端建设,并对神经网络加以严格控制。鉴于此,文章对电子工程自动化控制中智能技术的具体应用进行了研究,以供参考。  关键词:电子工程;自动化控制;智能技术 
期刊
摘要:为了保障电力工程项目的整体建设质量,工程管理人员应该在整合分析影响施工进度因素的基础上,针对施工场地上容易产生的各类安全问题做出预测,同时参照不同阶段的工程施工目标,设计编制出实效性强的施工管理方案,以此防止或降低施工问题产生的几率,确保电力工程项目的顺利开展。除此之外,电力企业还应加大对相关工作人员的安全培训力度,以此强化其安全责任意识,从而提升工作行为的规范性,这样才能保证施工品质达到预
期刊
摘要:现如今,我国的经济在快速发展,社会在不断进步,电力行业在我国发展十分迅速,研发电能计量装置异常数据动态辨识及处理系统。通过对电能量数据采集和归集、计量设备档案建立和归集,建立电能计量装置异常数据动态监测判定规则库,实现及时发现主配网计量异常和计量接线不符合的情况,提高对计量异常的辨析和发现能力,提高计量异常判断分析工作效率,进而更加及时发现计量异常问题,降低用户投拆率,降低因计量问题导致营销
期刊
摘要:目前,我国的经济在快速发展,社会在不断进步,电能替代能有效地减少化石燃料的消耗,改善大气污染的现状。目前,我国正大力实施电能替代,新能源发电快速发展,不仅可以在能源供给侧实施清洁替代,也应在能源消费侧实施电能替代。现介绍电能替代的发展战略及要求,阐述电力公司电能替代的工作流程,并以“煤改电”工程综合效益为例分析了电能替代技术的成效。  关键词:电能替代;新技术;新能源消纳  引言  电能是二
期刊