脉冲神经网络的网络压缩与在线学习算法研究

来源 :四川大学 | 被引量 : 0次 | 上传用户:LittleMeteor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
脉冲神经网络受生物大脑结构与计算模式所启发,基于离散稀疏的脉冲信号实现异步计算模式与信息传递,能够被部署在专用神经形态芯片上以极低功耗运行,具有实现高效智能计算的潜力。然而由于专用神经形态硬件芯片在计算以及存储等方面的资源有限,对于需要被部署在其上的脉冲神经网络算法和模型的数值精度、计算模式都有一定要求。为了降低脉冲神经网络算法和模型在硬件上部署的难度,适应硬件芯片的实时应用场景,本文从脉冲神经网络的网络压缩和在线学习算法这两个方面展开了研究。首先,由于目前大多数的脉冲神经网络权重都为高精度浮点数,这导致网络模型在硬件部署时会占据大量的存储资源。针对这一问题,本文提出了权重-阈值平衡网络转换算法,得到了具有二值权重连接的脉冲神经网络,显著降低了存储资源消耗量,实现了脉冲神经网络的压缩。此外,目前通常会在神经形态芯片上部署在线学习算法,以在实际场景中完成实时学习。但是多数在线学习算法难以完成复杂的时空数据学习任务,而能够完成这一任务的脉冲神经网络算法又往往不具有实时学习功能。因此,为了完成实时应用场景中的复杂时空数据学习任务,实现更能满足硬件约束条件、更具有生物可解释性的学习算法,本文提出了非对称时空在线学习算法,该算法在图像和声音数据集上取得的识别性能与最新的脉冲神经网络离线学习算法相当,优于已有在线学习算法。具体而言,本文的主要研究内容及贡献如下:·权重-阈值平衡网络转换算法:针对高精度权重连接的脉冲神经网络模型在硬件部署时会耗费大量存储资源的问题,本文研究了现有网络转换算法的转换过程,分析了经转换得到的脉冲神经元的权重和阈值之间的约束关系,并基于此约束关系,提出了权重-阈值平衡网络转换算法。权重-阈值平衡网络转换算法能够通过改变脉冲神经元的阈值数值存储精度,将原本的高精度权重数值缩放为低精度,从而有效地获得了具有二值权重连接的脉冲神经网络,显著降低了存储资源消耗量,实现脉冲神经网络的压缩。实验结果表明,相比于高精度权重连接的脉冲神经网络,二值权重连接的脉冲神经网络最多可以节省86%的存储资源。在MNIST、CIFAR-10和CIFAR-100数据集上,二值脉冲神经网络的最佳分类精度分别为99.43%,90.19%和62.02%,达到了与最新的高精度脉冲神经网络相当的性能。此外,在具有同样网络结构的前提下,与高精度权重连接的脉冲神经网络相比,二值连接的脉冲神经网络收敛性更好。·非对称时空在线学习算法:目前多数的脉冲神经网络在线学习算法通常应用在小数据集上,同时难以学习具有复杂时空特征的输入数据流。而现有的高效脉冲神经网络时空学习算法往往不具有在线学习功能,且其网络反向更新权重过程中所需的精确对称约束不仅难以在硬件上实现,也不具有生物可行性。因此,为了高效完成实时场景中的复杂时空数据学习任务,同时降低算法的硬件实现难度,提高生物可行性,本文提出了非对称时空在线学习算法,用于实时训练多层脉冲神经网络。该算法的突触权重更新仅与突触前后脉冲神经元的内部状态有关,在无需精确对称的权重反向传播前提下,仅需迭代更新脉冲神经元的内部变量就可以有效学习输入数据的时空特征。该算法在基于频率编码的MNIST图像数据集和基于时间编码的MedleyDB乐器数据集上的分类精度分别达到了 98.23%和95.38%,其性能优于已有的在线学习算法,可与最新离线学习算法相媲美。此外,本文还探索了算法超参数τ、θ、c对性能的影响,实验结果表明,脉冲神经元的阈值θ越小时,算法性能越好。
其他文献
红外图像分辨率低和非均匀性噪声显著是红外图像复原研究中的重要问题。不同于传统算法设计,基于卷积神经网络的红外图像复原方法最大特点是提升复原能力并减少设计成本,使算法更智能化。然而,现有的基于卷积神经网络的单帧红外图像复原方法中,网络模型通常只具备单任务处理(去噪或超分辨率重建)能力,并且丰富的数据量需求以及大规模网络结构会给数据收集、模型训练和存储带来困难。针对这些问题和难点,本文重点开展以下研究
语义分割的任务是通过卷积神经网络预测输入图像所有像素点的类别标签,或理解为在像素层面进行的图像分割。目前,语义分割在单纯提升精度的研究工作已近瓶颈,同时也暴露出基于全卷积与监督学习下的语义分割模型的研究难点:1、标注数据成本问题。语义分割需要海量的标注数据作为精准分割的基础;2、计算资源问题。深度的卷积网络带来巨量的资源消耗,对硬件的要求非常苛刻;3、精细分割问题。深度卷积网络的池化和下采样步骤必
时序网络中的异常检测广泛地应用于医学、网络安全、社交网络等领域,旨在时序网络中检测某特定时刻明显偏离网络中大多数正常模式或不符合期望模式的节点或者边,能帮助人们发现潜在的不安全因素或感兴趣的问题。本文从时序网络中用户行为异常和用户交互异常两个方面开展了研究工作。在用户行为异常方面,现有工作的忽略了行为本身特征以及无法有效地捕捉时序网络的结构、时序特征,根据这两个不足提出了基于行为时序网络的局部变化
数据中心作为网络中支撑大数据、云计算重要的基础设施,其能耗问题一直备受关注。由于数据中心的节能需要更灵活的管理,允许对网络设备进行灵活控制的新兴技术软件定义网络为数据中心网络的节能路由优化带来了新的机遇。软件定义网络(SDN)是一种控制平面和数据平面分离的新型网络架构,具有灵活且逻辑集中控制的特性;利用SDN架构集中控制的优势,结合大数据分析和网络功能可编程的特性构建节能网络来降低数据中心能耗,对
行人重识别(ReID)是计算机视觉领域的一个重要研究方向,主要解决跨摄像机、跨场景下的行人识别与检索问题,可广泛应用于安防监控和刑事侦查等领域。然而监控环境下的图像易受到背景和光照等因素的干扰,摄像机也会因为夜晚光线不足而切换到红外模式,以上因素都给行人重识别带来了挑战。本文利用深度学习技术,对单模态和跨模态行人重识别问题展开研究,主要工作和创新点如下。(1)针对当前单模态行人重识别中网络结构复杂
传感器阵列由空间中按特定方式排列的一组传感器组成,对物理场进行空间离散采样。阵列信号处理技术利用传感器阵列获取包含了物理场空域-时域/频域信息的数据,对阵列信号数据进行处理,提取其中感兴趣的信号、估计源的时频域参数等。随着处理器、传感器等硬件设备的升级,与信号数学模型及算法理论的突破与推进,阵列信号处理技术迅速发展普及,广泛应用于雷达、声呐、无线通信、生物医学、语音智能等军事及民生领域。声源位置相
人脸图像生成是指利用计算机合成出满足需求的伪造人脸图像,比如黑白照片上色,由模糊人像生成清晰人像等,在各个领域有广泛的应用前景。近年来,随着深度学习技术的迅猛发展,利用深度卷积网络、生成对抗网络等神经网络生成模型生成人脸图像成为了研究热点。利用人像生成技术生成去妆容人像的需求可以分为以下两类:一、去妆算法有面向人眼视觉效果的需求,包括卸妆效果滤镜的娱乐应用、人工参与的身份检查等。二、去妆算法有面向
染色质交互作用是不同染色质间发生的交互现象,影响基因遗传调控等机制。染色质交互作用测量的人工实验成本很高精度很低,且难以在不同细胞类型间迁移使用。主要存在的问题包括:(1)基于组蛋白修饰数据和DNA序列预测染色质交互作用研究鲜少见于文献,目前染色质交互作用预测的相关性结果不高,组蛋白修饰样本缺少对空间位置、数据归一化等特征处理影响的研究,针对不同类型细胞染色质交互作用迁移预测方法不够完善难以推广;
机器阅读理解是自然语言处理领域中的一个重要研究方向,它要求机器通过阅读文本回答问题。以往的机器阅读理解模型大多专注于单文本检索,这些模型只能根据单个段落回答问题,但是在实际问答场景中往往需要通过对多个段落进行推理才能获取问题的答案。为了解决这个问题,多跳推理问答任务被提出。多跳推理问答是机器阅读理解的子任务,该任务旨在跨多个段落进行推理查找给定问题的答案,具备知识推理的能力。目前已有很多模型在多跳
神经形态视觉传感器是一种模拟生物视网膜的仿生传感器,这种新型的视觉设备由光感受器阵列组成,每个光感受器单元异步产生事件,将场景的光强变化编码为无帧的时空事件流。这种传感器有低冗余、低时延、高时间分辨率、高动态范围等优点。由于事件流与传统图像在数据格式上有本质不同,传统图像处理方法无法直接应用与事件流数据。研究构造适合事件流数据的视觉处理方法,是神经形态视觉的一大研究课题。脉冲神经网络以脉冲传递信息