边缘计算环境下基于预测的工业模型服务弹性调度平台的研究

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:roger_wen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着工业互联网的快速发展,工业生产中的各个环节中也都大量应用了信息技术,这使得企业在生产经营中积累了大量的数据,这些数据为工厂科学分析和优化生产提供了数据基础,专业的数据分析人员利用数据驱动的建模技术在参数预测、性能优化方面建立诸多的模型应用。但是将开发的工业模型部署生产环境中时却面临着许多的问题和限制,首先工业数据具有实时性、隐私性的特点,需要在靠近数据源端进行采集和处理,且实际生产中需要构建大量的模型,重复开发同类模型,效率低,浪费人力资源,需要自动的模型构建,同时模型在提供服务的期间,缺乏专业人员的管理,也没有自我改进和进化,无法提供长期有效的价值。此外,大量模型服务部署在边缘计算网关处,资源受到限制,传统部署方式是按照服务流量峰值进行静态分配,无法有效的利用有限的资源。所以模型在为实际生产提供服务时有着很多需要解决的现实问题。本文针对模型服务实际部署中遇到的困难,构建了基于预测的工业模型服务弹性调度平台,解决模型服务缺乏生命周期管理和更新的问题,能够根据请求量的大小动态地对服务所需要的资源进行分配。本文主要研究工作如下:通过研究大数据、弹性伸缩等技术,搭建了一个支撑模型服务运行的弹性平台,并且所有功能模块通过容器技术封装实现,提高服务部署的效率,首先利用Kafka和Spark技术构建实时处理架构,解决工业数据实时采集和计算的问题,并存储在平台数据库当中,为模型服务的更新提供数据基础。传统的模型一旦构建部署上线后,缺乏专门人员去管理,时间一长,模型的精准度就会开始下降,针对这个问题,平台支持模型服务的生命周期管理,模型能够自动的重训练和更新,设计模型训练可以利用历史数据和新数据重新训练模型文件、模型通过容器滚动更新的方式无缝切换,并通过任务调度功能将模型更新过程中各模块按流程运行,实现模型自动化的更新。因为工业数据的复杂性,平台中会部署越来越多的模型服务,为了满足潜在的负载需求,通常会按照访问峰值的能力配置资源,这样造成了非高峰期的资源浪费,大大降低了资源利用率,平台所能部署的模型服务也会减少。由于工业现场资源有限,所以提出了基于预测的弹性调度架构来管理模型服务容器数量,主要包括监控模块、资源调度模块和模型服务伸缩组,监控模块除了会采集宿主机和容器资源使用指标,还增加了传统监控系统中缺乏的服务应用请求量和响应时间的采集。资源调度模块使用随机森林算法对请求量历史数据构建预测模型,预测多步之后的请求量,提前对模型服务伸缩组进行资源分配,考虑了容器的启动时间,减少响应式伸缩分配资源滞后的缺点,并设计了缩容计数值来避免伸缩抖动。结合Rancher容器管理平台的功能开发实现了本文所提出的平台,并将其应用于某化工精馏塔厂,为其提供参数预测、故障诊断服务。通过仿真实验,验证了模型服务在新数据生成后能够进行自动的模型更新切换,保持服务长期的服务质量。也通过与响应式的弹性策略对比以及真实负载下的测试,验证了本平台的弹性策略具有可用性和可伸缩性。结果说明了平台在提高资源有效使用的同时,也能很好保持模型服务在预测精准度和响应时间两方面的服务质量,这对于帮助企业实现科学决策和优化生产,提高经济效益有着重要的意义。
其他文献
近年来,混杂系统受到越来越多学者的关注,原因在于它不仅能代表现实中很多复杂的系统,而且有着重要的理论研究价值与工程实践背景;脉冲随机系统作为一类重要的混杂系统,为系
目的:岭南中药五指毛桃和仙鹤草具有调理脾胃作用,但是其作用机制研究较少。本研究观察五指毛桃和仙鹤草对吲哚美辛、无水乙醇所致大鼠胃黏膜损伤的防治作用,并从对胃黏膜紧密连接蛋白、黏附连接蛋白及转录因子表达影响的角度,探讨其胃黏膜保护作用机制。方法:(1)五指毛桃和仙鹤草水提物的制备:药材分别加入12倍量的纯水浸泡2h,煎煮2h,过滤,再加10倍量的纯水煎煮2h,合并滤液,旋转蒸发,冷冻干燥,收集冻干粉
磷灰石族矿物在地壳中分布广泛,其内部含有独特的孔道结构,并且具有丰富的类质同象替代,本文对两个来自不同产地的天然磷灰石单晶样品进行了常规的宝石学测试分析,结合红外漫
风能是清洁的能量来源,在风资源丰富的地方应得到充分的利用,而且带来可观的发电效益。风电叶片是风电机组获取风能的关键部件,其设计的优劣会直接影响风能的利用率。故寻找新的设计思路,或设计出性能更优良的叶片,在风能利用方面具有重要的意义。本文以风电机组的叶片作为研究对象,以修正原来的叶片弦长桨距角,提升叶片空气利用率为目的。通过更进一步分析叶片的实际受力,得到叶片在旋转过程中的气动摩擦阻力,最终设计出更
近年来,随着全球化的发展,世界各方面的联系日益密切。学习和掌握一门外语在各种情况下的交流活动中显得日益重要。英语作为世界上使用最广泛的语言,在世界舞台上起着不可或缺的作用。在听、说、读、写四项技能中,阅读的重要性不容忽视。首先,在中国这样一个英语非母语国家,学习者大部分时间都要通过阅读获得输入。其次,在英语测试中,阅读理解题目占有相当高的比例。然而,在农村初中,学生的英语阅读情况却难以尽如人意。以
木聚糖酶广泛分布于各种生物体内,其能够将木聚糖催化水解为五碳糖。由于耐热木聚糖酶能在高温下保持活性,因而广泛应用于工业生产中。研究耐热木聚糖酶热稳定性的作用机理必
28 GHz毫米波段因在本地多点分配业务中作为工作频率得到了最广泛的应用和研究,信号在高频段传输会受到环境中诸多非理想因素影响,而多天线技术通过有选择性地进行信号的收发,可提高信道容量并改善通信性能。本文选用28 GHz毫米波电力场景进行测试,提出了基于凸优化最大迹松弛的天线选择算法,可为毫米波5G无线通信及设计提供有效的参考价值。本文的主要工作有:第一,分析总结了 28 GHz毫米波通信特性、M
前人经验表明,磷酸盐不仅能够容纳和载带大离子半径亲石元素及稀土元素,而且其高压晶质相能够稳定存在于整个上地幔范围内。本文研究的准磷铝石和斜红磷铁矿是典型的具孔道结
在现在这样信息化、科技化时代,我们每个人都离不开智能化硬件,而铁电材料因为其介电性、压电性、热释电性、铁电性以及电光效应、光折变效应和非线性光学效应等重要特性,它
磁通动力学是超导研究的一个重要分支,在包括铜氧化物和铁基超导体在内的高温超导体中,很多与磁通有关的新的概念相继被提出来,也获得了大量新颖的实验结果,这些都丰富了磁通