【摘 要】
：
传统的蒸馏学习仅通过大网络对轻量网络进行单向蒸馏,不但难以从轻量网络的学习状态中得到反馈信息,对训练过程进行优化调整,同时还会限制轻量网络的特征表达能力。本文提出结合自身多级注意力上下文信息进行自我学习优化的方法(MAD,Multi Attention Distillation),以自监督的方式使自身成熟的部分约束不成熟部分,即浅层可以从深层中提取有用的上下文信息,让浅层特征学习高层特征的表达,从
【机 构】
：
天津理工大学天津市先进机电系统设计与智能控制重点实验室,天津理工大学机电工程国家级实验教学示范中心,奥特贝睿（天津）科技有限公司
【基金项目】
：
天津市自然科学基金(16JCQNJC04100)。
论文部分内容阅读
传统的蒸馏学习仅通过大网络对轻量网络进行单向蒸馏,不但难以从轻量网络的学习状态中得到反馈信息,对训练过程进行优化调整,同时还会限制轻量网络的特征表达能力。本文提出结合自身多级注意力上下文信息进行自我学习优化的方法(MAD,Multi Attention Distillation),以自监督的方式使自身成熟的部分约束不成熟部分,即浅层可以从深层中提取有用的上下文信息,让浅层特征学习高层特征的表达,从而提升网络的整体表达能力。使用轻量级网络ERFNet、DeepLab_V3在两个不同任务的数据集CULa
其他文献
本文介绍了一款可实现远程控制、自动避障、路线规划等功能的智能车系统的设计。智能车以K60为中心微控制单元,采用ESP8266WiFi模块与上位机通信,L298N芯片驱动电机控制运动,此外还包括电源模块、显示模块等。智能车借助车前后的激光雷达来检测路面情况,实现有效避障、合理规划行驶路径的目的。
针对目前无人车系统智能化程度较低、协同控制策略不够完善造成柔性编队稳定性较差、鲁棒性较低、稳态间距与速度跟踪误差较大等问题,本文设计了一种基于TMS320的无人智能车编队协同控制系统。系统通过硬件模块完成VANET背景下的车队自主环境感知,信息处理,决策规划与协同控制,同时车辆与车队的关键信息通过4G远程监控网实时传输至上位机管理界面,实现无人车队的智能化编队协同控制,进而从一定程度上提高无人车系统的实效性。
本文针对单目深度估计模型深度序数回归算法中全图像编码器易丢失较大像素值像素特征信息和位置信息的缺点,提出一种基于CBAM的深度序数回归方法。首先,将CBAM嵌入到深度序数回归算法中作为全图像编码器,依次采用通道注意力机制和空间注意力机制来捕获图像完整的特征信息和位置信息,通过获得的注意力图重新调整原始特征;其次,对像素的深度值进行离散,将深度估计重新转化为序数回归问题;最后,使用回归损失函数对网络
为了对比分析不同沉降预测方法对机场复合地基在超载预压下沉降的预测效果,本文以天府国际机场飞行区试验段为研究对象,利用指数曲线法、双曲线法、Gompertz生长曲线预测法、灰色模型法4种不同方法,对4个不同的原地面点沉降进行预测,并以监测数据为依据对4种方法进行分析评价,最终得出指数曲线法与双曲线法对复合地基沉降的预测效果较好,而灰色模型法对沉降预测误差较大。
本文针对背景干扰、特征信息不足以及尺度剧烈变化等问题,提出了一种基于多尺度及双注意力机制(Multi-Scale and Dual Attention,MSDA)的小尺寸人群计数网络。MSDA网络主要由空间-通道双注意力(Spatial Channel-dual Attention,SCA)模块和多尺度特征融合(Multi-scale Feature Fusion,MFF)模块构成。MFF模块将特
新一代心电图(Electrocardiography,ECG)系统中,可以使用可穿戴设备来监测人体生理信号。心电图信号是一种生物医学信号,基本上与人体心脏的电活动相对应,根据其波形可以初步判断人体是否存在疾病。本文首先对ECG信号进行了预处理,然后使用自适应阈值对QRS波进行定位,最后使用支持向量机对心电信号进行分类。基于MIT-BIH数据库的实验表明,该方法的敏感度达99.65%,正预测率达99.41%。
为满足电网企业成本精益管理需求,完善电网运维检修作业标准成本体系,针对我国地区间经济水平、管理水平及自然环境差异大的问题,开展电网作业标准成本差异化配置算法研究。首先,结合电网作业标准成本的应用机制,确定了基于决策与评价实验室法(decision making trial and evaluation laboratory,DEMATEL)和组合赋权法的作业标准成本差异化配置算法;然后,以变电站检修业务为例,依据实际数据,实现了作业标准成本的差异化配置;最后,基于J-T非参数检验法,对差异化配置结果的合理
针对高密度、分散化、全网化电力电子非线性设备导致谐波污染难以有效估计问题,提出一种数据驱动的配电台区谐波污染源群体谐波排放水平建模方法。考虑多种谐波源模型特点和适用性,选取谐波Norton等效模型对谐波源负荷设备进行建模,形成设备典型谐波排放表征。利用非侵入式负荷监测(non-intrusive load monitoring,NILM)技术分解用户用电数据,得到设备各时刻启停状态,进而得到各时刻设备总开启数量。通过马尔科夫链(Markov chain,MC)模拟用电设备开启数量在时序上动态变化,建立用户
本文提出了一种相机快速标定方法,使用一个平面标定板,仅拍摄一幅图像,就能完成相机标定。与通用的相机标定方法相比,可以减少拍摄图像及计算相机多个参数初值的麻烦,提高了相机标定的效率,尤其适用于多相机同时标定的情况。在计算相机内参时,使用Levenberg-Marquarat方法优化求解。实验结果表明,本算法速度快且精度较高,可应用于机器视觉研究、工业三维测量等多个领域的摄像机标定。本方法也可以选择拍
针对目前电压暂降治理方案未考虑治理设备标准容量与定制容量单位成本的差异,分析了不间断电源(uninterruptible power supply,UPS)与动态电压恢复器(dynamic voltage regulator,DVR)治理设备不同容量(定制和标准化)与初始成本之间的关系。同时为合理量化用户电压暂降治理投资客观需求,基于用户不同敏感设备经历单次暂降事件造成的经济损失,提出更合理的用户总体电压暂降严重程度度量方法。进一步地,结合用户投资能力,采用前景理论量化用户电压暂降治理投资意愿,得到符合用