基于缓存的实时数据存储及规则计算的方法研究

来源 :科学与财富 | 被引量 : 0次 | 上传用户:owg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘 要:针对运营商IT系统产品规则校验复杂的情况,提出一种基于缓存的规则计算方法,通过基于缓存的实时数据存储与规则计算,能够实现对于整个规则计算过程,全部基于缓存实现,从而提高规则计算的效率。
  关键词:缓存;实时;数据;存储;规则;计算
  1 方案提出的背景
  随着通信业务的发展,尤其是近年来流量业务的快速发展,各类产品不断推出,产品的订购规则也越来越复杂,如产品与产品件的互斥,产品对于用户余额、入网时间等的规则要求。在通信运营商层面,用户进行产品订购时,由IT系统进行规则校验。如校验较慢,会降低用户体验,影响产品推广。
  目前的主流方案是基于缓存计算装置,包括缓存单元和计算单元,计算单元通过读取缓存单元的规则数据,并完成计算。但需要进行多次的物理磁盘读的操作,以获取所需要的实例数据,存在数据读取计算时间过长的问题。
  本方案要解决的技术问题:通过数据的实时存储,将规则计算所需要的配置数据、实例数据均保存在缓存中,并提前进行规则计算,将计算结果也保存在缓存中,这样当需要进行规则计算时,所有的数据均从内存中获取,避免了进行磁盘的读写操作,从而可以大大缩短规则计算的时间。
  2 具体方案介绍
  本方案提出一种方案,具体组成如下,包括5个单元,单元一:数据加载单元;单元二:原始数据缓存单元;单元三:数据服务单元;单元四:数据计算单元;单元五:数据持久化单元。
  单元一:数据加载单元,原始数据加载单元的主要工作有两项,一是在首次启动时,会进行数据初始化工作,从BSS系统的物理数据库,提取当前时刻全量的产品配置数据和“活跃用户”订购实例数据,通过数据加载功能,全量加载到单元二中,key-value方式后保存到缓存。二是对于实时的增加变化数据,提供两种适配器,消息适配器和文件适配器,当业务系统用户数据发生变更时,如用户进行了产品订购,则业务系统可以通过消息或文件的方式,与数据加载单元的对应适配器进对接,将增量变化数据同步到数据加载单元,由数据加载单元将变更
  单元二:原始数据存储单元,主要为数据存储功能,以key-value方式将数据保存在缓存中。数据主要分为两类,一类是用户实例数据,一类是配置数据。实现将静态数据缓存到共享内存中,利用共享内存实现数据的快速计算及读取,同时采用RBTREE排序方法实现对数据的快速查找。
  其中用户实例数据缓存通过LRU(最近最少使用算法)及MRU(最近最长使用算法)实现缓存数据替换,如果缓存结果达到系统配置的内存值,将提供一定的策略将最近最不常被查询到的数据替换出去,而将最近最常被使用的数据保持在缓存中。
  单元三:数据服务单元,主要是对外提供缓存的计算和查询服务,同时具有服务管理功能,能够对服务进行注册和管理,并记录服务调用信息,并对服务调用的频次、渠道等进行管理和控制。
  單元四:数据计算单元,当热点用户生成或新增热点数据后,会调用数据计算单元的数据计算模块,完成规则的计算,并将计算结果保存在共享缓存中。
  当有服务通过数据服务单元提供的数据校验服务要求进行规则校验时,根据服务入参提供的操作员ID,用户ID,先到单元二中,将操作员ID+用户ID作为Key值,获取包括用户订购实例的Value值,与用户的当前订购实例进行比对。
  1)如果比对结果一致,标识该用户未做过其它业务操作,可以直接将规则计算结果返回
  2)如果比对结果不一致,或没有记录,则通过单元一,重新将此用户数据作为“热点数据”进行加载到共享缓存,并调用数据计算模块,快速进行规则计算,并将计算结果更新到共享缓存中。
  进程管理模块,可以依据规则计算类型,将进程进行分组,如产品互斥规则计算为单独一组进程,产品依赖规则计算为另外一组进程,这样当有多个产品规则计算时,可以进行多进程并行计算,从而提高计算速度。
  单元五:数据持久化单元,主要采用文件或数据库的方式,将共享缓存中心数据同步至磁盘,实现数据持久化。这样做的好处时当单元二发生故障,重新启动时,共享缓存中的数据会全部丢失,可以从数据持久化单元中快速恢复。而不再需要重新通过单元一进行数据的全量抽取和加载,提高了共享缓存数据恢复速度。
  4 结束语
  本方案的技术优点:一是通过建立“活跃用户”的模型,降低了缓存中的数据量。二是将用户订购实例数据放入缓存,解决了规则计算涉及用户实例数据时,与物理数据库频繁交互造成计算效率明显下降的问题。三是通过缓存与用户实例的对比,实现了缓存数据的强一致性,保证缓存规则计算的正确性。4四是通过将缓存计算结果保存,避免了每次规则计算都要重新计算的问题,有效提高计算效率。
  本方案基于缓存平台,实现了用户实例等实时变化类数据的实时的存储和计算,大大提升了规则计算的效率。
其他文献
摘 要:计算机网络的安全问题一直都是社会所关注的话题。现代网络技术的发展也变得越来越好,而且网络已经成为人们日常生活和工作中最重要的一部分。本文主要讲述防火墙技术的意义和网络中比较常见的手段以及如何应用。  关键词:防火墙技术;网络安全;应用  现代互联网技术的发展给人们带来了很多便利条件,尽管会在计算机网络上出现各种安全问题,但是仍然阻止不了网络的发展。计算机网络的安全问题一直都是人们所关注的热
期刊
摘 要:随着电气自动化的应用越来越广泛,对它的技术要求也越来越高。这篇文章对我国的电气自动化的现状进行了分析,并进行了发展方向的研究,以期能达到推动电气自动化技术发展的效果。  关键词:电气自动化;现状;发展方向  从目前的调查研究和实际情况来看,随着我国科技实力和工业经济的快速发展,电气自动化技术在许多方面发挥着非常关键的作用。我国的电气自动化技术主要运在工业控制系统上面,用来提高机器的运行效率
期刊
摘 要:变频技术这种先进的智控技术,能够有效的提高矿山机电设备生产与加工的效率。此外在变频技术的影响下,煤企生产成本也将大大降低,进而实现了由传统生产向现代化生产模式与理念的转变。大力推广变频技术如今已经成为每一个煤企的工作基本准则,是现代化煤企行业的生产衡量标准。煤企必须予以变频技术高度的重视,才能够推动我国煤炭产量的再一次提高。  关键词:矿山;机电设备;变频控制技术  引言:  变频技术是一
期刊
摘 要:随着全球环境的不断变化与汽车行业的快速发展,混合动力汽车成为汽车行业的发展方向之一,其存在不同类型的能源装置,关于混合动力汽车的能量优化,主要为选取参数完美匹配的发动机、传动装置、蓄电池以及电动机和科学合理的控制优化对策,且制定科学合理的能量控制对策非常关键。鉴于此,本文通过对混合动力汽车能量优化进行分析研究,以此给相关人员提供参考与借鉴。  关键词:混合动力汽车;能量控制;能量优化;  
期刊
摘 要:随着油田经营形式的不断转变,其市场发展受到了很大的影响,在经济全球化背景下,油田企业应当积极开展降本增效工作,贯彻开源节流政策,以此为油田企业的可持续发展奠定基础。本文首先分析了油田企业实践工作内的问题,同时阐述了关于对油田做好降本增效工作的思考,最后总结了油田做好降本增效工作开展措施,仅供参考。  关键词:油田;降本增效工作;思考研究;存在问题;开展措施  为切实完善油田企业的工作机制,
期刊
摘 要:由于国家性质的影响,石油企业是我国发展建设的重要企业,石油企业的发展与我国的工业化发展以及国家的经济发展有着直接的关联。石油企业的开采性质决定了石油企业在生产的过程之中要大量占有土地,在石油企业工程占用土地的过程之中,出现了诸多的问题,对石油企业在征地工作之中进行有效的管理手段可以促进石油企業的发展。笔者通过总结石油企业在征地建设过程之中遇见的问题进行总结,并且提出相对应的策略,希望可以更
期刊
摘 要:输配电线路是电网系统的关键部分,可以实现电力网络同用户群体之间的稳定连接,使供电系统的关键设备。加强对输配电线路的运行维护,能够确保电力系统的稳定高效运转,提高供电稳定性与可靠性。鉴于此,本文对输配电线路运行维护的关键处理技术开展分析探讨,以此为电力行业从业人员提供帮助。  关键词:输配电线路;运行维护;处理技术  前言:随着社会经济与人们生活水平的不断发展提升,对电能的需求逐渐增多,对电
期刊
商品社会里,我们深处在一个琳琅满目的商品环境中,那么是什么样的因素来决定我们购买产品的标准呢?有人说是功能、价格,这一点不错。但在全球经济一体化的今天,产品的功能、价格越来越雷同,那么接下来会是什么样的标准来刺激我们的购买欲望呢?那就是产品的设计。  工业设计,就是凭借现有的原材料、制造技术和工艺,通过产品的造型质量,赋予产品完善而统一的结构和功能。通俗地讲,产品设计就是为了达成某一(产品)功能,
期刊
摘 要:社会工作专业在国外已经有了将近上百年的历史,在我国却仍然是一门新兴的专业,但是,随着我国社会制度的不断完善,人民生活水平的日益提高,越来越多的社会服务机构如医院、学校、企事业单位、军队、第三方机构等,都需要社会工作者的介入,都需要社会工作者对自己所提供的服务做有效的管理,从而提升自己服务的质量与水平,所以说,社会服务与管理在社会工作中的作用举足轻重。  关键词:监测评估;社会服务与管理; 
期刊
摘 要:对于飞行技术专业而言,毕业设计起到重要作用,不仅可以提升飞行员整体质量,还能对飞行员个人素质以及实践能力进行检验。在新时期,飞行技术专业面临一定改革,这就需要重视毕业设计,把毕业设计改革工作落到实处,一方面可以培养出各方面素质都较强的飞行人才,满足社会对于飞行人才的需求,另一方面能够提高我国飞行事业整体水平,从而迈入新的阶段。  关键词:飞行技术专业;毕业设计;改革研究  前言:近几年,我
期刊