基于稀疏矩阵向量乘法的轻量化DenseNet加速器设计

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:moli2146
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
DenseNet作为目前较为主流的卷积神经网络,不再依靠更深的网络层数和更宽的网络结构来提升网络性能,在机器视觉、工业检测、遥感图像处理等各个领域都具有巨大的应用价值。网络以具有稠密连接的Dense Block模块为核心,更有效利用每一层特征图,减少了梯度消失的现象,同时也保证了较高的精度。但DenseNet模型在具有较高精度的同时,密集的计算和存储特性严重制约了其在边缘端的部署和应用。针对上述问题,已有研究证明参数剪枝方法可以大幅降低模型复杂度。对已经完成预训练的网络模型,参数剪枝通过删除其中冗余的权重,压缩模型的计算量及参数量,从而减少模型的预测时间以及资源消耗,为卷积神经网络在边缘端部署提供更加有利的条件。其中,细粒度剪枝针对单个权重值进行剪枝,能够减去模型不重要的权值参数,减少模型的尺寸并且保持模型的精度,相比于以网络层或通道等为单位进行剪枝的粗粒度剪枝方法,具有更高的自由度,但这类剪枝方法需要定制硬件架构进行加速。本文针对DenseNet在边缘端部署困难的问题,设计一种适用于边缘端嵌入式设备中的数据访问和大规模并行计算的细粒度剪枝方法,并设计稀疏矩阵压缩方法对稀疏卷积神经网络的权重参数进行压缩处理并存储。最终利用FPGA定制高效卷积计算加速单元,完成基于FPGA平台的加速器整体测试与评估。具体研究内容如下:(1)针对DenseNet消耗大量存储资源的问题,本文提出一种轻量DenseNet结构并使用细粒度剪枝的方法进行模型压缩。轻量DenseNet在保留DenseNet核心结构的情况下,改进网络中大量重复复杂结构,同时保持网络精度。然后针对CNN卷积层参数冗余的问题,设计基于轻量DenseNet的细粒度剪枝方法,减小网络卷积层的计算量和参数量。考虑到硬件部署的问题,本课题采用平衡稀疏的方法,兼顾细粒度剪枝的高精度以及粗粒度剪枝的规则性,使算法更适用于边缘端计算设备中的数据访问和大规模并行计算处理。(2)针对稀疏后轻量DenseNet在存储上和计算上并没有实际的优化,无法直接在硬件上进行部署的问题,设计压缩存储方法,减小部署的推理网络的计算量和存储量。由于稀疏后的网络仍然是规则卷积计算,没有跳过被剪枝的零元素,在存储上和计算上并没有实际的优化,在硬件部署上难以达到实际的加速效果,本文基于平衡稀疏的方法设计压缩存储块(Compressed Sparse Banks,CSB)方法对卷积层进行压缩存储以及对应的稀疏卷积计算方法设计,实现卷积层的计算加速以及存储资源优化。(3)针对通用处理器难以满足嵌入式边缘端对DenseNet网络高速处理的需求的问题,本文基于FPGA进行轻量DenseNet加速器设计。实验基于FPGA进行硬件实现以及测试,实现轻量DenseNet加速器在边缘端的部署。
其他文献
精确定位导航在计算机视觉领域当中十分关键,其目的是给定交互传感器在实际三维场景中获取的信息,以此获得交互设备在三维场景下的具体位置和姿态。在实际的工作环境当中,虽然不同的设备上存在着许多不同的传感器,但由于RGB相机的成本较低、输出内容丰富,因此RGB图像成为了精确定位导航的关键信息来源。从RGB图像中恢复相机的具体位姿进而获得设备的精确位姿信息成为了精确定位导航中的关键技术。为了解决在特定的三维
学位
低轨卫星系统可以实现全球覆盖,满足未来全球随时随地的接入需求,已成为下一代网络研究的一个重点。星载相控阵天线作为低轨卫星天线系统的重要组成部分,其研究和发展受到越来越多的关注。一方面,低轨卫星对地高速运动,需要实时调整波束指向,波束间存在干扰,需要进行有效的降旁瓣处理。另一方面,低轨卫星功率受限,复杂的天线阵列网络不适用于低轨卫星天线系统。本文对星载相控阵天线的低复杂度、低旁瓣波束成形算法和降低硬
学位
随着金融数学、流体动力学、材料力学、量子力学等领域的飞速发展,所涉及的数学模型也越来越复杂,致使许多学者关注到了分数阶Laplace方程相关问题的研究工作,其中弱解的存在性问题便是比较有代表性的研究方向.近些年,许多学者也在研究带有对数非线性项的偏微分方程解的存在性问题,受到相关研究工作的启发,本文首先推广通常的分数阶对数Sobolev不等式,得到两个更一般的分数阶对数Sobolev不等式,然后结
学位
近些年,非线性科学各领域迅速发展,大量非线性发展方程模型出现,如流体力学中的水波方程。人们面对的问题更加复杂,如何获得非线性发展方程的精确解成为了一项具有重要意义的工作。本文利用多项式完全判别系统方法详细地研究了两个水波模型,即(3+1)维Yu-Toda-Sasa-Fukuyama势方程和(2+1)维Boiti-Leon-Pempinelli方程组,得到了两个模型的单行波模式的完整分类。所得到的模
学位
我单位基于Windows操作系统开发的联合仿真试验平台H-JTP,在半实物仿真应用中,实时性不满足要求。本课题针对此问题,利用PXI总线硬件设备搭建通用硬件环境,在PXI嵌入式计算机中,基于VxWorks系统开发实时信息处理软件,对基于Windows的H-JTP节点进行扩展,开发H-JTP平台的通用半实物实时信息处理节点。本课题的研究成果,对于提高H-JTP仿真节点的实时性,促进其在仿真领域的应用
学位
随着电磁空间用频网络设备逐渐增多,频谱资源变为了更加重要的战略资源。这就意味着实现信息交换的通信网络需要能够做到全覆盖并且极为智能,必须对卫星网络的干扰情况与可用频谱资源有所了解,依靠干扰等结果设计合适的频谱接入方案。在整个通信系统中,还需要通过信关站完成精度更高的感知系统。因此为了提高卫星网络性能,势必需要对卫星网络干扰以及其频谱感知和接入方案进行研究。本论文对大规模通感一体化卫星网络智能频谱接
学位
岩屑录井是钻井过程中的一个重要环节,岩屑是油气识别和储层评价的重要依据。传统岩屑识别方法主要依赖地质工作者的判别经验,容易出现识别不精确等问题。本文运用深度学习方法对录井岩屑的泥岩和砂岩成分进行识别,提高了录井岩屑识别的准确率。论文提出了两种录井岩屑泥砂识别方法,研究内容如下:将形态学分水岭算法(MWA)和卷积神经网络算法(CNN)相结合,提出了MWA-CNN方法。利用MWA-CNN方法对录井岩屑
学位
《黄帝内经》"异法方宜论"记载中医起源五方论的真实性在学术界备受质疑。文章试图以"文化区系学说"为新视角,从南方"百越"族群文化入手,通过分析"百越"族群的文身文化、尚红习俗、朱砂矿的开采及"吴越"的青铜剑铸造技术、"扬州三把刀"和"百越"的铜矿采炼,揭示出"九针"起源与"百越"文明之间的关系,提出九针疗法起源于南方"百越"文明的新证据和新观点。
期刊
食用农产品是人们饮食结构中不可或缺的组成部分,但农产品中生物毒素引发的食品安全事故屡屡发生,轻者引发食品安全疾病,重者可能夺人性命。因此,对农产品加强检测,对生物毒素进行尽早识别对保障人们的生命安全至关重要。基于此,本文总结了食用农产品中生物毒素的常见类型,并对相应的检测技术进行简要介绍,以供相关人员参考。
期刊
高频超视距雷达工作在高频波段,利用该频段的电磁波沿电离层返回散射传播机理以及可以沿海面低衰减绕射的特点,来实现超视距探测,具有探测距离远、安全系数高的优点,但同时,复杂的检测背景、电离层杂波,以及时变、类目标的海杂波,给超视距雷达的目标检测造成了困难。本文首先针对超视距雷达回波复杂的检测背景,提出了一种基于背景感知的多策略CFAR检测方法(MP-CFAR),在不同的背景下选择不同的检测策略,提升了
学位