【摘 要】
:
随着人工智能的快速发展,卷积神经网络(CNN)在各种应用中发挥重要作用。尤其在图像分类任务中,CNN效果显著,但其网络加深会在移动端部署上产生巨大开销,因此网络压缩成为最近研究重点。本文基于图像分类任务,提出了一种解耦对比学习知识蒸馏算法(DCL_KD),以及一种基于冗余滤波器剪枝-特征相关性辅助蒸馏算法(RFCA_HC)。主要内容如下:(1)本文针对图像分类任务中,基于网络结果输出端知识蒸馏性能
论文部分内容阅读
随着人工智能的快速发展,卷积神经网络(CNN)在各种应用中发挥重要作用。尤其在图像分类任务中,CNN效果显著,但其网络加深会在移动端部署上产生巨大开销,因此网络压缩成为最近研究重点。本文基于图像分类任务,提出了一种解耦对比学习知识蒸馏算法(DCL_KD),以及一种基于冗余滤波器剪枝-特征相关性辅助蒸馏算法(RFCA_HC)。主要内容如下:(1)本文针对图像分类任务中,基于网络结果输出端知识蒸馏性能无法达到良好精度,提出了一种解耦对比学习知识蒸馏算法。该算法针对网络输出端蒸馏时正样本的知识无法有效传递给学生,并且忽略正负样本之间的相关性问题。首先使用了网络输出层正样本与负样本的损失解耦模型;然后为解耦模型中正样本与所有负样本的蒸馏损失添加了标签平滑正则项LSR;最后提出了解耦对比学习,获得正样本和负样本之间信息相关性,扩大类间差异,区分正负样本知识。通过实验证明,该算法加强了学生网络对图像的分类能力,提高了实验精度。(2)针对只采用知识蒸馏算法,面对教师与学生网络深度相差较大,导致学生网络学习能力不够;以及教师网络深度较深时,网络本身确定性增加无法产生软目标这两方面问题,本文提出了一种基于冗余滤波器剪枝-特征相关性辅助蒸馏算法。该算法引入了教师辅助网络,有效缩小教师网络与学生网络之间的差距;然后利用冗余滤波器剪枝算法,对教师网络和教师辅助网络进行剪枝操作,降低网络的确定性,同时减少冗余的滤波器传递给学生网络;最后针对教师与学生网络中间层特征相关性知识进行蒸馏,有效提取教师知识,提高学生网络性能。为验证改进算法的有效性,本文在CIFAR数据集上对图像分类任务进行实验。结果表明通过RFCA_HC算法得到的学生网络,在图像分类任务中准确率有所提高,取得良好效果。
其他文献
有机电致发光器件(OLEDs)具有重量轻、体积小、主动发光、易实现大面积柔性显示与照明等独特优势,已成为新一代的环境友好绿色照明光源的重要发展方向和各先进国家节能的发展重点。因此,开发环境友好、高效的OLEDs器件是我国近年来高效率、长寿命的半导体照明产品的优先发展战略之一。OLEDs材料占据举足轻重的地位,开发新型高效的电致发光材料具有重要的研究意义。茚酮稠环类单元有弱吸电子性能,在结构上易于修
股指数据反应了整个股票市场上各类股票价格的总体趋势和变动情况,其稳定性较高、不易受人为影响的特点深受广大投资者关注。投资者根据数据波动情况来选择在合适的交易点进行买入卖出操作,从而进行获利。但绝大部分投资者无法对此进行专业的分析,缺乏策略性研究,从而错失交易信号,出现损失严重的情况。因此,本文基于机器学习、深度强化学习构建交易信号过滤模型与交易策略,以实现动态感知市场变化,帮助投资者智能化投资的需
推荐算法能够帮助用户从海量多样的数据中选择自己感兴趣的信息,可以有效地缓解信息过载问题。传统的推荐算法运用用户项目的历史交互来分析用户的兴趣偏好,因而推荐系统也面临着数据稀疏和冷启动等问题。随着网络信息的多样化,除了用户项目评分外,还有许多关于用户和项目的辅助信息如:社交网络、知识图谱等。这些辅助信息可表示成图的形式,加入到推荐系统中能够丰富用户和项目的特征,缓解数据稀疏和冷启动问题,提升推荐算法
红外成像具有抗干扰能力强,可识别伪装目标,成像距离远等诸多优势,在军事和民用领域得到广泛应用。红外成像器件用于运动平台或者拍摄运动目标时,会由于目标与相机之间的相对运动产生运动模糊,降低成像的清晰度,影响了对红外图像的后续处理。传统的图像去模糊方法通常使用模糊核先验对模糊图像进行建模,然而现实场景中的模糊图像产生的都是非均匀模糊核,传统方法估计出的模糊核具有很大的局限性,对现实场景中的复杂模糊效果
改革开放以来,县域中小企业集中集聚发展,逐渐形成具有分工合作关系的产业集群。目前部分县域产业发展主要受产业集群层次与产业链完整度制约,因此实时把握县域产业集群发展情况,对促进产业集群转型升级扶持政策的制定具有重要指导意义。本文通过深度学习技术精准识别县域内特色产业集群,构建产业图谱并完成产业链环节划分,通过对集群内部企业分布情况分析产业集群发展态势,从而提出相关发展政策建议。为解决产业集群识别过程
随着数字技术的不断发展,以及新冠疫情的影响,数字化转型逐渐渗透到人民的生活中,2022年2月发布的《“十四五”国家信息化规划》中习近平主席明确提出要建立健全有效的数字化治理体系,建设数字中国,从而打造数字经济新态势。制造业是立国之本、强国之基,是实体经济的重中之重,处处体现在人民的衣食住行中,制造业的经济命脉制约着我国经济的发展速度。如今数字经济正在蓬勃发展,为我国制造业企业转型带来了数字红利,那
社交网络提供的信息发布平台降低了信息发布标准的门槛,容易导致敏感信息在社交网络中大肆传播的安全隐患。现有的敏感实体识别模型未考虑到现实生活中,同一用户同时参与多个社交平台的情况,缺乏全面性。同时,也未考虑到社交敏感实体具有规模小、表征多、存在场景复杂等特点,获取的字词向量表示往往缺乏代表性。因此,构建多源异构社交网络场景,通过获取敏感社交信息,对数据量小且表征复杂的敏感实体进行识别,成为了命名实体
企业在生产经营过程中可能会出现一些问题,导致企业有不同程度风险的发生。不同类型的风险对企业的影响程度不同,但都有可能给企业造成不同程度的损失。因此,企业风险评估有着实际需求。目前从各种渠道获取的企业信息包含大量的文本数据,利用文本挖掘技术进行企业风险评估有着广阔的应用前景。本文主要工作如下:第一,研究面向企业风险评估的命名实体识别方法,提出并实现了基于词典的知识增强命名实体识别方法。企业相关的文本
时间序列是由一组具有固定时间间隔的实值型样本按照时间先后顺序组成的数据集合,广泛存在于各个领域。在时间序列中,当部分数据表现出超越预期的行为或模式时,这样的数据被称为异常数据。准确地识别异常数据,能够为后续任务提供有价值的信息。当前,随着时间序列数据日益庞大且复杂,数据中潜在的相关性和多种模式难以处理,导致现有的检测算法效果不理想。为解决上述问题,本文分别对单变量时间序列和多变量时间序列的异常检测
遥感图像目标检测是计算机视觉领域重要的研究方向之一,但目前的目标检测算法对于遥感图像的检测效果仍有较大提升空间。遥感图像的拍摄角度与普通的可见光图像拍摄角度不同,其在空中的俯视拍摄角度呈现出的往往是物体的顶部轮廓特征,与常见物体特征差异较大。由于遥感图像的拍摄位置较高,图像中呈现出的物体往往小而密集,这容易导致模型在特征提取过程中小目标的特征信息极易丢失,给模型的检测带来了较大的困难。并且大量目标