高效深度迁移学习与模型压缩研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:cshan225500
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,作为人工智能关键技术的卷积神经网络得到了飞速发展,也获得了学术界和工业界的广泛关注。卷积神经网络已经在诸多计算机视觉任务中取得了突破性进展,比如图像分类、目标检测、图像分割和人脸识别等。因此,实现卷积神经网络的落地应用,对推动产业智能化,促进社会经济发展,建设世界科技强国以及完成“两个一百年”的奋斗目标具有重大战略意义。然而,由于实际应用场景的复杂性和约束性,卷积神经网络的落地应用通常存在以下问题:(1)卷积神经网络训练需要大量数据以保证模型性能,因此难以应用于只有少量训练数据的落地场景;(2)卷积神经网络模型参数量多,且推理计算代价高昂,因此难以应用于计算和存储资源受限的落地场景。为解决卷积神经网络落地应用的上述问题,本文提出了对应的解决方案。针对问题(1),本文提出了一种基于注意力特征对齐的迁移学习算法。该迁移算法可以识别源域和目标域之间通道特征与空间特征的相关信息,进一步通过特征对齐匹配源域和目标域,从而保证深度迁移性能。针对问题(2),本文提出了一种量化训练方法,即基于迁移学习的模型量化算法。该量化算法利用提出的注意力迁移量化和概率迁移量化高效挖掘全精度模型中所含知识,保证在只有少量训练数据情况下其迁移量化性能也是可靠的。此外,本文还以基于门锁设备的近红外人脸识别为典型应用,提出了近红外人脸识别模型迁移压缩的技术路线,完成了人脸识别智能门锁的上线与量产,实现了卷积神经网络模型产品化的经济收益。最后,大量的实验结果表明了本文所提迁移算法、模型量化算法以及典型应用技术路线的有效性。
其他文献
有机-无机金属卤化物杂化材料由于其组成、结构和功能的多样性及其在光电和光敏材料领域的广泛应用而备受研究关注。近年来,基于卤化铅的有机无机杂化钙钛矿材料和低维度杂化金属卤化物材料所显示的优异光电性能,使之成为了太阳能电池材料、荧光材料与X射线检测材料等方面研究的热点。本文主要着眼于探究有机胺气体分子与碘化铅类杂化钙钛矿材料的气固反应及其结构与成分转化的机制,低维结构镉基杂化光色荧光材料的结构设计与性
现有大型起重机械的测量与监测系统,依赖安装于机身的复杂传感器以测量实时参数从而判断起重机运行状态,不具备现场安装与拆卸易行性。为此,本文以“基于DCNN与边缘云的桥式起重机械运行状态图像监测技术研究”为题,设计起重机械运行状态图像监测总体架构,研究桥式起重机械关键部件DCNN识别与视觉测量方法,设计面向图像监测的边缘云系统、研究面向图像监测DCNN加速提升技术,研制桥式起重机械运行状态图像监测平台
高良姜是一种优质的药食同源植物,资源量丰富,在医药、调味品领域应用广泛,具备开发为功能性食品的潜力。目前针对高良姜的研究主要集中在黄酮类、二苯基庚烷类和挥发油类的药理活性方面,高良姜活性成分挖掘不充分、功能性质不明确、活性成分提取方式单一,限制了高良姜的高值化利用,同时制约着以高良姜活性成分为核心因子的健康食品开发。本研究采用分段提取的方式,分别制备得到高良姜黄酮组分以及高良姜多糖,考察高良姜多糖
改革开放以来,虽然我国汽车工业发展迅速,但是由于我国相关产业发展起步较晚,汽车相关技术相较于国外仍需进一步发展,特别是汽车安全领域技术。本文针对汽车被动安全中关键设备安全带系统进行研究,研究内容对于提升提高安全带系统开发效率、安全带系统约束性能、提高产品竞争力、以及提高企业效益具有重大意义。根据台车碰撞试验中乘员运动录像,建立二自由度乘员约束系统模型,根据实际安全带佩戴时的织带空间状态构建织带等效
近年来,历史建筑的管理与保护倍受广州市政府的重视。截止至2021年1月,广州市规划和自然资源局认定了817座广州历史建筑,并且紧跟时代的技术潮流,在国内首次推出针对历史建筑的数字化技术规范。本文针对广州历史建筑构件的检测和识别课题来源于企业项目,企业项目反映了广州市规划局的需求,具有非常重要的现实意义。企业给本研究提供原始数据集。数据集为多人拍摄的真实建筑照片。本文分析了数据集的特点并结合企业的要
绝缘子是输电线路上的关键组件,对其进行定期巡检是保障电力系统正常运行和稳定的一项重要预防措施。目前我国输电线路巡检方面无人机巡检正在逐步取代效率低下的人工巡检成为主要的巡检方式,又随着5G技术和计算机视觉技术的兴起与发展,智能巡检成为建设智能电网的关键一环。本文主要研究输电线路无人机巡检图像中绝缘子的实例分割算法,以及复合绝缘子过热缺陷和玻璃绝缘子自爆缺陷的检测算法。巡检图像的拍摄质量直接关系着图
随着国内社会生产力的不断发展,电力用户对供电高可靠性的需求越来越迫切,电力系统维护工程的可靠性和安全性占据更重要的位置。在电力系统检修工程期间,由于检修项目众多而且技术复杂,加上工期相对紧张,需各个检修工作面同时交叉开展,安全风险增加,这是检修工程安全管理的重要环节,因此,做好电力检修工程的安全风险管理工作,预防人身及设备安全事故事件的发生,是电力检修工程的重要保障。本论文首先归纳、梳理国内外关于
抓取检测是计算机视觉和智能机器人领域的一个重要分支内容。由于传统的机器人需要复杂的三维结构建模,过程繁琐,效果差。近几年兴起的深度学习方法虽然有较高的抓取成功率,但是需要人为调整大量参数、人工标注大量样本。随着深度强化学习在智能机器人领域研究的快速发展,研究工作者开始关注基于深度强化学习的自主抓取检测方法的研究。他们将提取到的RGB图像信息和深度图像输入到卷积神经网络中,并且利用卷积神经网络学习抽
线上与线下融合的社区零售模式提高消费者体验,具有良好的发展前景。然而社区生鲜零售商在拓展线上业务时,容易因其不合理的末端配送网络导致成本高效率低,进而陷入经营困难的境地。因此本文关注社区生鲜连锁店的末端配送网络优化问题,主要内容如下。(1)分析社区生鲜零售及配送模式现状,确定了科学选址、订单分配和配送路径规划是提高消费者满意度和保障生鲜品新鲜度的关键。(2)分别从选址和配送策略出发探究社区生鲜连锁
肺癌是世界上最常见的恶性肿瘤之一,发病率和死亡率均位于恶性肿瘤的第一位,严重威胁人民的生命健康。其中,非小细胞肺癌(NSCLC)是肺癌最常见的病理组织学类型,约占所有肺癌病例的85%。病理学诊断是临床金标准,其中病理切片病灶中肿瘤区域、坏死区域、淋巴区域、间质区域的评估对NSCLC的病理诊断与分析具有重要的意义。随着数字病理和人工智能技术的快速发展,数字病理图像(WSI)分析智能化已经成为当下病理