面向边缘计算资源受限场景的增量深度学习

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:xeno
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化时代的到来,每天产生的数据量逐渐增多。传统的人工智能技术通常需要以批量训练的方式来处理这些数据,然而这种批训练的方式对于持续的数据流来说,模型需要重新训练所有数据以避免灾难性遗忘,因此,人们需要利用更灵活的策略去处理这些海量数据,从而更好的为社会服务。增量式的学习策略可以很好的解决这种持续数据流的问题,它不仅缩短了大量的训练时间,而且能够解决灾难性遗忘问题。然而,目前学术界的增量学习算法在解决灾难性遗忘问题时,通常过分依赖系统的内存以及庞大的网络结构,难以部署在资源受限的边缘设备上。在此背景下,本文研究了在资源受限场景下的增量深度学习问题。在资源受限的条件下,增量学习通常需要应对两种典型场景:存储资源受限的边缘设备以最小识别精度完成增量学习和资源较好的边缘设备以高识别精度完成增量学习。首先,在第一种场景下,受限于边缘设备的存储,如何在满足各任务最低识别精度的前提下,完成增量学习的同时,最大程度地压缩深度神经网络模型是该场景下的关键问题。其次,由于最大程度地压缩会带来较大的精度损失,这种压缩策略对于需要高精度识别的场景来说是不可取的,甚至是危险的。因此,在第二种场景下,如何为模型设计增量学习策略,使其能够在一定的存储资源前提下尽可能的提高增量任务的识别精度,成为该场景下的主要挑战。针对以上问题和挑战,文本的主要工作内容及创新点如下:(1)基于压缩、挑选和扩展的增量深度神经网络方法本文提出了CPE(Compacting,Picking,and Expanding)增量深度学习算法,其主要包括两个阶段:预处理阶段和模型增量阶段。在预处理阶段,首先,通过引入软注意力模块来生成通道统计量;其次,借助统计量来挑选重要通道;最后,去除冗余通道,为模型增量阶段提供紧凑的初始增量神经网络。在模型增量阶段,采用固定旧知识权重、扩展模型和渐进性剪枝的策略来实现增量学习过程。实验结果表明,CPE不仅可以避免灾难性遗忘,而且在生成的紧凑模型上实现了增量学习。并且,相比较目前能够生成最小增量模型的CPG(Compacting,Picking,and Growing)方法,CPE增量模型中各任务的权重分配更优,并且识别精度达到78.4%,逼近传统深度神经网络的批训练识别精度78.6%。更重要的是,在相同精度要求下,CPE得到的增量模型体积是CPG模型的0.64倍。(2)基于通道区分的增量深度深度神经网络方法本文提出了ISLM(Incremental Structure Learning Model)增量深度学习算法,它的核心思想是根据注意力模块提供的注意力统计信息,把模型通道区分为共享通道和辅助通道。其中,在共享通道上,本文采用微调的方式训练增量任务。当增量模型无法满足当前任务的精度需求时,在辅助通道上,本文在其对应的通道上添加特定滤波器以提升性能,与此同时,对应通道的参数保持不变。模型训练结束后,对增量模型进行通道剪枝,剪枝时保留添加了滤波器的通道,并且使用各任务的特征张量来对剪枝模型进行微调。实验结果表明,ISLM相比于其他增量深度学习算法,单个任务的识别精度最低可提升1.2%,最高可提升5%,在VGG16和Res Net50上的平均精度分别达到76.2%和77.92%,优于其它增量学习方法。此外,相比较CPG,在相同增量模型大小的前提下,CPG的识别精度比ISLM高1.77%,但是CPG能够达到的最大精度却比ISLM低1.61%。
其他文献
碳量子点(CQDs)作为一种新型的碳纳米材料,因其具有优异的荧光特性、高生物相容性、良好的水溶性等特点,被广泛应用于生物、环境等领域。在CQDs的生产和使用过程中,进入环境的数量必然增加。土壤是地球化学元素循环的重要组成部分,也是纳米材料的归宿,纳米材料的释放可影响土壤酶活性及微生物群落结构。微生物介导的异化铁还原将Fe(Ⅲ)还原成Fe(Ⅱ),并从这一过程储存生命所需能量,该过程对土壤的元素循环、
学位
期刊
抗生素耐药性一直是世界范围内的重大公共卫生问题,需要尽快寻找新的抗菌策略,帮助解决细菌耐药性危机。抗毒力信号策略通过特异性地干扰细菌的信息传导系统,降低细菌的致病性,这种策略不会直接杀死细菌,对于细菌耐药性施加的选择压力较小,不易导致产生新的耐药菌。群体感应(QS)是细菌之间的信号转导机制,它依赖于细菌的密度,通过信号分子来控制细菌的群体行为。其中喹诺酮(pqs)系统通过Lys-R型转录调节因子P
学位
近年来,由于光能具有绿色清洁、高度可调、安全性高等优异特性,光化学在能源转型和能源革命如火如荼的时代背景下,已经引起了众多学术界内与工业界内科研工作者们的广泛关注。而有机三重态光敏剂相关研究,作为现代分子有机光化学学科的一个重要发展方向,已在材料科学,生命科学,合成科学,环境科学,能源科学,通信科学等各个前沿领域取得不少的进展与成果。其中,尤其是氟硼吡咯(BODIPY),因其强可见光吸收能力与易于
学位
为了解不同苗龄江南油杉造林的早期生长情况,对广西黄冕林场不同苗龄江南油杉的试验示范林进行调查,并对1~2年生幼树树高生长开展试验分析。结果表明:试验林造林成活率均在88.89%以上,不同样地差异不大,不同苗龄的成活率随着苗龄增大而提高。不同样地江南油杉树高H1、H2仅3年生苗存在着显著差异,但不同苗龄间H1、H2差异显著。样地与苗龄的因子效应分析表明,苗龄为树高生长的主要因子且在H1、H2上存在着
期刊
【目的】探究不同移栽苗龄对基质栽培黄瓜生长生理以及产量的影响,以期筛选出基质栽培条件下黄瓜幼苗适宜的移栽苗龄。【方法】以新春四号黄瓜为试材,共设T1(四叶一心)、T2(三叶一心)、T3(二叶一心)和T4(一叶一心)4个苗龄处理,研究移栽不同苗龄黄瓜幼苗对植株株高、茎粗、根系活力、叶绿素含量、光合参数、荧光参数以及产量等指标的影响。【结果】T3处理黄瓜植株株高显著高于其他3个处理。T3处理根体积最大
期刊
随着信息技术和互联网的快速发展,数据资源越发丰富,且数据间的关联也更加复杂多变,仅仅依靠简单文字匹配的信息服务已经难以满足用户需求,知识图谱(Knowledge Graph)应运而生。知识图谱不仅可改良信息服务,其蕴涵的丰富语义关联信息,在知识问答、辅助推理、个性化推荐等领域也表现出重要的应用价值。作为图谱表示的关键技术,知识图谱嵌入(Knowledge Graph Embedding)是将其应用
学位
本文论述了七例不同的新型硼酸盐晶体材料,通过单晶X射线衍射表征了它们的结构,通过固体紫外可见漫反射光谱、红外光谱、X-射线粉末衍分析(PXRD)和元素分析进一步表征了它们的结构。还通过热刻蚀制得了一系列硼酸盐基催化剂,测量了系列催化剂的氧还原反应(ORR)催化活性。化合物Co2(DMEDA)3[B5O7(OH)3]2(DMEDA=N,N-二甲基乙二胺,1)与化合物Zn2(DMEDA)3[B5O7(
学位
人体姿态估计和跟踪是计算机视觉领域的经典问题,该任务既涉及底层的特征表达,又为高层的动作识别、场景理解提供支持,因此具有重要的理论意义。近年来,随着网络视频大量涌现,视频中人体姿态估计和跟踪任务受到广泛关注,在人机交互、智能监控等领域拥有了更广泛的应用价值。视频人体姿态估计具有挑战性,将现有的针对静态图像的人体姿态估计算法直接用于视频序列,性能大大降低,因为这些方法通常缺乏对视频序列之间的时空相关
学位
阵发性睡眠性血红蛋白尿症(PNH)是一种获得性造血干细胞克隆性疾病,其病变细胞X染色体PIG-A基因突变与PNH细胞克隆增殖及疾病进展密切相关。伴随着PNH发病机制研究的不断深入,其诊断和治疗模式也取得了重要进展,尤其是靶向模式的出现为PNH的治疗提供了新的策略,依库珠单抗的问世使PNH的治疗进入补体通路抑制时代,由于其存在原发耐药、血管外溶血、停药后病情易反复等不足,使针对补体通路活化的新药研发
期刊