边缘流处理系统任务调度的研究

来源 :张帅 | 被引量 : 0次 | 上传用户:zhjic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流处理系统通常是部署在云端的,拥有丰富的物理资源,随着物联网的发展,越来越多的移动端设备产生大量的数据,在移动端上部署的目标检测、AR等智能应用,能够源源不断地产生流式数据,如图像等,这些数据距离边缘端比较近,将流处理系统从云端迁移到边缘端,在接近数据源的地方处理这些数据,可以降低数据在网络中的传输开销。移动端可以将繁重的计算任务交给多边缘处理,借助多边缘上的流计算系统,既能避免大距离的数据传输,又能利用流处理系统的优势,只要合理利用边缘节点上的资源,就可以使这些流式数据得到及时的处理。但是由于边缘节点资源的异构性和数据源的移动性,需要设计针对多边缘和移动设备的调度策略。本文针对以上问题提出了适用于边缘节点的任务调度策略,从三个方面进行任务调度。第一,任务初始化部署策略,在系统运行前需要对算子的并行度进行设定,并根据内存、CPU和网络带宽约束,对并行任务进行初始部署。第二,任务动态重构策略,在任务运行时,根据任务实际运行时间和网络传输时间进行算子并行度的重新配置。第三,数据源的权值分发策略,决定数据分发配比,从而缩短响应时间。主要研究目的为在边缘节点资源变动的情况下,动态调度算子在各个节点的并行任务,使任务可以适应动态的边缘环境。本文基于强化学习中的QLearning算法,对任务调度问题进行建模,实现了基于强化学习的任务重构策略。本文在边缘流式处理平台Apache NiFi上部署任务拓扑,实现调度策略,主要包括任务运行情况监控、节点资源情况监控,并设置控制模块,负责结合各监控指标,运行调度算法,对边缘节点中的各个节点发送调度指令。最后在实际边缘服务器节点上部署了此平台,并使用移动端进行测试,该策略有效提高了NiFi处理数据的吞吐量,缩短了响应时间。
其他文献
目的:观察蔓性千斤拔素D对大鼠胶原诱导型关节炎(CIA)的作用并探讨其作用机制。方法:将40只大鼠随机分为正常组、CIA组、甲氨蝶呤(MTX)组(1.35 mg·kg-1·w-1)、蔓性千斤拔素D低剂量组(1.5 mg·kg-1)以及蔓性千斤拔素D高剂量组(3.0 mg·kg-1),每组8只,除正常组外,其余均采用Ⅱ型胶原诱导CIA模型。给药组通过灌胃给予相应药液,正常组给予相应体积生理盐水,MT
期刊
党的十九大上,中央提出了乡村振兴战略,对农村更美、农民更富、农业更强提出了更高的期望与要求。农村电子商务直接扎根于农村服务于三农,有效推动“三农”发展,在乡村振兴背景下扮演着越来越重要的角色。各地政府对扶持电商发展路径进行了大胆尝试,有效推动了农村电商产业发展。近年来,基层政府在推进农村电商发展过程因受经验缺乏、治理能力不足等因素,农村电商治理问题逐步凸显,农村电商参与的多方主体间矛盾逐步显现,对
学位
随着边缘计算的发展,出现了越来越多高算力的边缘AI设备,相比于云计算集群,边缘设备具有低延迟、低能耗、低价格、体积小易部署、异构灵活性高等优点。同时,边缘场景下的任务复杂性也在不断提高,需要多种不同深度学习模型共同完成某项任务,因此边缘设备上通常需要同时部署不同模型,并发推理,由此出现了许多值得研究的问题。本文首先测试了不同轻量级深度学习模型在不同边缘设备上并发推理的性能降级和功率,发现了各种异构
学位
冻土是一种由土颗粒、冰、液态水和气体组成的多相复合体,其中水受环境温度的影响在固相与液相间相互转化,导致冻土的力学特性具有强烈的温度敏感性和流变性,冻土的这种力学特性导致路基土体的冻胀和融沉等病害,为寒区工程建设带来很大的技术难题。我国冻土面积约占国土面积的75%,其中季节性冻土占国土面积的53.5%。近年来,我国越来越多的大型工程项目在季节性冻土区展开,因而对冻土融化过程水热迁移及其应力应变规律
学位
随着无线通信的快速发展,通信场景也日趋复杂化,通信过程中的多径效应与通信单位间的移动性使信道具有延时拓展与多普勒拓展。为了在双选信道下保持良好的通信性能,学界从信息预编码、时空分集等等不同的角度提出了多种多样的方案,相较之下,本研究则从信号与信道的适配角度出发。由于不同信道间的延时拓展与多普勒拓展程度不尽相同,相应的其时频域的信道表征也不同,不同信道使信号趋于不同的能量分布,故合理利用这个特点,针
学位
经过数十年的发展,合成孔径雷达(SAR)已逐渐从低分辨、窄测绘带迈向高分辨、宽测绘带(HRWS)的工作模式。且伴随军事、民用领域需求的提高,要求SAR系统不仅可以实现对于静止场景的重构,还需对于场景中的运动目标进行检测与成像(GMTI),并正确定位到背景图像中,因此,对于宽幅场景内动目标的成像方法逐渐成为SAR的重要研究方向之一。基于上述背景,本文开展了对于宽幅场景下静止、运动目标的综合成像方法研
学位
滥用市场支配地位在《反垄断法》规定的垄断行为中处于首要位置。当经营者为公用企业时,关于如何认定其具备市场支配地位以及存在滥用行为,司法实务中仍需要清晰明确的规定,加以弄清该认定标准问题,如此不仅可以让公用企业规制自身行为去避免滥用市场支配地位,也能为其他经营者敲响警钟,以此保障市场交易秩序与安全,对于反对垄断与保持市场良性竞争具有持续且深度的意义。
期刊
随着智慧城市的建设,物联网终端设备也在高速发展,由此产生的物联网大数据对广域网造成了巨大的网络压力。为了缓解广域网拥塞情况,云边协同架构选择在接近边缘设备处设置有限的计算资源,边缘计算资源可以有效减轻云端计算压力并提高用户服务体验质量(Quality of Experience,Qo E)。尽管如此,云边协同架构高度依赖中间层的网络状况,同时面临着多种服务类型数据流融合的挑战。一方面,终端设备产生
学位
随着工业4.0时代的到来,大型工业基础设施开始配备信息物理系统(Cyber-Physical System,CPS)。在CPS相关技术中,无线通信技术因其低成本、高效的远程传输能力而逐渐取代有线传输成为智能电网的重要组成部分。然而,通信网络的使用给信息物理系统增加了更多的薄弱点,使其更容易受到多种类型攻击的威胁。与传统的IT攻击不同,针对CPS的攻击不仅会导致机密信息的泄露,威胁数据的安全性和可靠
学位
随着我国军事领域的快速发展,单兵班组中陆续搭配了无人作战平台,与单兵一起构成协同作战体系,在侦察、打击、态势感知、救援等任务中发挥着越来越重要的作用。其中,单兵与无人平台的可靠定位是高效执行任务必要条件之一,然而面对复杂陌生的战场环境以及日益进步的电磁干扰、欺骗等技术,卫星导航等固有导航定位基础设施将无法正常使用,而不依赖外界设施的高精度惯性导航系统存在体积大、成本高、有累计误差等问题,不利于大规
学位