【摘 要】
：
深度神经网络的出现为人工智能领域带来了新的突破和繁荣,然而由于其对计算、内存资源的庞大需求使得它们难以被部署到资源受限的边缘环境中。为了解决上述问题,以网络剪枝为代表的模型压缩方法应运而生。现有的网络剪枝算法主要包括使用预定义的修剪标准对网络模型进行结构化剪枝和借助神经结构搜索来寻找灵活的网络结构。前者严重依赖于人类专业知识,而后者往往难以同时保证搜索效率和搜索质量。针对现有网络剪枝方法的不足,结
论文部分内容阅读
深度神经网络的出现为人工智能领域带来了新的突破和繁荣,然而由于其对计算、内存资源的庞大需求使得它们难以被部署到资源受限的边缘环境中。为了解决上述问题,以网络剪枝为代表的模型压缩方法应运而生。现有的网络剪枝算法主要包括使用预定义的修剪标准对网络模型进行结构化剪枝和借助神经结构搜索来寻找灵活的网络结构。前者严重依赖于人类专业知识,而后者往往难以同时保证搜索效率和搜索质量。针对现有网络剪枝方法的不足,结合神经网络数据流图特征（神经网络层级间数据的流动特征）,提出一种基于数据流的自动化剪枝算法——PDAS。算法主要包含两个策略:第一,通过分析搜索空间大小对搜索时间和搜索质量的影响,提出新的交替式搜索-更新机制。使用可微神经结构搜索算法学习概率分布以寻找合适的网络层宽度（输出通道数）,同时借助遗传算法的思想不断更新由候选层宽构成的搜索空间,以达到在保证搜索效率的同时改善搜索质量的目的;第二,针对网络结构更加复杂的残差网络,提出新的受限渐进搜索策略。根据残差网络的数据流图特征对网络层进行划分,分阶段搜索各网络层的合适层宽,以渐进的方式完成网络模型的压缩。同时,对搜索过程中的部分参数施加限制,以进一步减少因残差块的跳跃连接中额外的卷积对齐操作而带来的资源消耗。上述方法实现在深度学习框架Py Torch上,并在一些典型的数据集（CIFAR-10、CIFAR-100和Image Net）上对多种神经网络模型进行测试评估。实验结果表明,PDAS能够在同等甚至更少的精度损失下,获得更高的模型压缩率,显著降低深度神经网络的资源消耗。与现有先进的模型压缩方法LFPC相比,PDAS能够将模型的压缩率提高10%左右;且在极端压缩率下,PDAS方法的表现明显优于已有方法。
其他文献
荧光原位杂交（Fluorescence in situ hybridization,FISH）是一种在细胞或组织中通过荧光标记与成像方式对核酸大分子定量与定位检测的技术,在生物学分析与医学疾病诊断方面有广泛的应用。虽然以单分子FISH（Single molecule FISH,sm FISH）方法为代表的传统FISH方法能有效标记样品中的DNA和m RNA分子,但它们存在标记的信号弱、背景噪声强、
神经元形态分析,是指从神经元形态数据中提取有关神经元形态特征、分布结构的统计数据。定量的形态分析可以为解析神经元功能连接、探索脑神经回路等提供数据支撑。分子标记和光学成像技术的系列进展以及神经元重建方法和工具的日渐成熟,使得神经元形态数据的大规模获取成为可能,进而导致神经元形态分析方法和工具面临巨大需求。近年来,神经元投射分析和形态测量方法取得了进展,但仍存在不足。局部范围的投射分析方法能够获取局
脑组织是一个复杂的三维结构,由相互作用的多种细胞群和细胞外基质组成。研究大脑区域和细胞类型多样性的表达关系,有助于从分子水平认知脑功能执行的机理。为了获取全脑范围内单细胞分辨定位的组学信息,需要精准提取含有空间定位信息的细胞。本人所在课题组正在开发一套激光显微切割系统来获取微小目标样本,但仅依靠硬件存在操作繁琐、系统工作效率低的问题,在大规模进行样本取样时速度慢,会影响后续的测试质量。针对上述问题
阿尔茨海默病（Alzheimer’s disease,AD）是一种中枢神经系统退行性疾病,严重影响着老年人的健康,目前还没有有效的治疗手段。Tau蛋白在Ser396,404位点的磷酸化(Tau phosphorylation at Ser396,404,p-tau396,404)是AD发病过程中最早的病理事件之一。因此,靶向p-tau396,404的被动免疫是治疗AD的一个潜在方法。但是由于抗体穿
阿尔茨海默病（Alzheimer’s disease,AD）是一种进行性发展的中枢神经退行性疾病。β-淀粉样蛋白（Amyloidβ-protein,Aβ）的聚集沉积是AD的核心病理学特征,也是治疗AD的重要靶点。靶向Aβ的单克隆抗体（Monoclonal antibody,mAb）被证实可以显著地抑制Aβ生成并清除Aβ,这使得相关的免疫疗法成为缓解AD症状的重要方法。然而过去开发的单抗药物大多在临
皮层扩散性抑制（Cortical spreading depression,CSD）是一种由神经元和神经胶质细胞大量去极化以及随之而来的脑电活动抑制组成的过程,CSD以波的形式在大脑皮层缓慢传播,并导致细胞毒性水肿。在临床上CSD被证明与多种神经系统疾病密切相关,包括偏头痛、蛛网膜下腔出血、脑卒中等,并且CSD作为偏头痛的先兆被广泛接受。越来越多的研究表明大脑皮层的网络功能障碍可能是偏头痛发生的机
随着科学研究的进步,肿瘤免疫疗法为肿瘤治疗领域带来了革命性的改变。在癌症的多种疗法中,肿瘤疫苗疗法利用肿瘤抗原进行免疫,诱导机体产生特异性抗肿瘤反应。然而,部分肿瘤疫苗由于携带的抗原种类有限、免疫原性差等问题影响了疫苗的有效性。蜂毒肽纳米颗粒（α-melittin Nps）由于具有肿瘤杀伤和激活抗原提呈细胞（Antigen Presenting Cells,APC）的功能,在肿瘤治疗方面有着广泛的
前额叶皮层是负责学习记忆和注意力等功能的重要脑区。不同空间位置的前额叶皮层区域结构、组织构筑、细胞类群和功能都存在多样性,这暗示了前额叶皮层多样化的基因表达模式。研究空间位置相关的基因表达差异是对精准三维定位下脑空间转录信息的全新探索。本研究基于优化完整鼠脑形态和RNA的保护策略,利用转录组测序技术（bulk-seq）,初步探索了前额叶皮层空间位置与基因表达的相关规律,并进一步分析了特定区域不同发
基底前脑胆碱能神经元具有广泛而精细的投射模式,参与脑的众多高级功能,并在多种神经退行性疾病中起着重要作用。目前,基于神经示踪、电生理与基因敲除等技术,已经研究了基底前脑胆碱能神经元形态与功能的多样性,并初步将形态发生与发育过程建立了联系。然而,发育过程中的转录多样性仍不清楚。因此,本研究借助单核转录组测序技术,研究了基底前脑胆碱能神经元在发育过程中的转录变化规律,主要内容如下:筛选了适用于基底前脑
图流是一种表示实时关联数据的大数据模型,具体形式表现为一条随着时间快速无限增长的边流序列。为了应对图流数据容量大、流速快且持续更新等特征,图流概要技术通过牺牲一定的查询精度换取低时空开销,成为了处理图流的可行方向。现实应用中的图流数据普遍存在结点度数倾斜分布的特征,其中的高度点使得现有基于压缩矩阵的概要结构面临着查询延迟高及查询精度差等问题。因此,设计一个高效的图流概要结构的关键是需要快速识别出图