【摘 要】
:
深度神经网络的快速发展,推动了人工智能领域的革命性进步,同时也改变了人们的生产生活方式,在广泛的应用领域中取得了令人瞩目的成果。这些深度神经网络通常拥有很大规模,对
论文部分内容阅读
深度神经网络的快速发展,推动了人工智能领域的革命性进步,同时也改变了人们的生产生活方式,在广泛的应用领域中取得了令人瞩目的成果。这些深度神经网络通常拥有很大规模,对硬件平台的计算资源和存储资源的需求也十分庞大,限制了在实际应用中的部署范围,尤其是在一些移动端或者嵌入式等资源受限平台上的使用。由于摩尔定律的发展速度正在逐渐放缓,同时神经网络算法仍然在以很快的速度进行发展和演化,单独地从硬件层面或者软件层面进行神经网络的加速和优化,很难有效地解决资源受限的问题。本文采用软硬件协同的方法,分别从硬件适配软件、软硬件耦合优化、软件适配硬件三个方面进行深入的研究,主要成果和创新点包括:·在硬件适配软件方面,本文提出一种数据为中心的卷积神经网络加速架构。架构采用一种全新的计算数据流,通过对算法计算中数据重用模式的利用,有效地减少片上的总数据传输量以及单次数据传输量。针对卷积操作进行优化有效地实现卷积神经网络的计算性能加速,专用架构的设计实现大幅度的功耗和面积的开销降低。·在软硬件耦合优化方面,本文提出一种基于Re RAM的稀疏神经网络加速架构SNrram。SNrram在软件层面采用对硬件平台更为友好的剪枝算法进行稀疏化,然后在硬件层面对规则化的稀疏权值数据的分解和重组操作。SNrram中提出一种稀疏性转移算法,可以最大限度地对网络的权值数据和激活值数据中的稀疏特征进行利用,实现高效地稀疏神经网络加速。·在软件适配硬件方面,本文提出两种神经网络量化方法。针对循环神经网络在量化后准确率大幅下降的问题,本文提出一种混合的三值循环神经网络量化方法Hit Net,针对不同分布的数据采用不同的量化策略,成功量化循环神经网络中全部权值数据和部分激活值数据至{-1,0,1}三值状态,可有效缩小量化模型与原始模型之间的精度差距。·针对生成式对抗网络训练过程不稳定的问题,本文提出一种生成式对抗神经网络量化方法QGAN,采用基于EM算法的线性量化策略和多精度的量化策略,成功实现了生成式对抗网络的量化操作。在仅使用1比特或者2比特进行数据表示的极端情况下,QGAN仍然可以生成质量与原始模型具有可比性的图片样本。
其他文献
钢-混凝土组合结构性能卓越、施工简单,当前在桥梁建设过程中被广泛使用。大量实桥调研发现疲劳是诸多现役钢-混凝土组合结构桥梁共同面临的严重问题,且日益严重,而剪力连接件作为钢-混凝土组合结构中的重要连接部件,其对应的疲劳问题已成为当下亟待解决的关键。本文拟采用理论分析与数值模拟相结合的方法,考虑剪力连接件结构尺寸的影响,对剪力连接件的疲劳性能展开研究。主要研究内容如下:(1)提出了一种局部结构的优化
止禅是禅修必不可少的训练部分,它以培养稳定且集中的注意为核心。近年来止禅训练对注意的影响得到实证支持。通过梳理佛教止禅体系可知止禅技术丰富,且各具特色,但不同技术
本文发展了一种用于等离子体电子密度测量的微波截止探针,其结构与Kim等人提出的波截止方法类似,但在测量原理方面有本质的差别。这种探针结构采用独立的发射、接收天线,在实
在谈艺术赋权这个宏大的话题之前,我想先谈谈我自己的故事,这个故事里面有很多不便表达,但我相信读者/观众都能理解的内容。我想谈谈,我自己是如何被艺术赋权的。一人一故事
体育课是体育教学的基本组织形式,在帮助学生掌握体育与保健基础知识、基本技术与基本技能、保证身体健康与身体发育上发挥重要作用,同时也有助于实现学生思想品德教育,提高
目的:了解高中生反刍思维、自尊、心理韧性以及社交焦虑的现状,探讨自尊、心理韧性对高中生社交焦虑的影响,本研究主要分析自尊、心理韧性在高中生反刍思维对社交焦虑影响过程中所起到的中介作用或调节作用,以便于帮助学校和家庭在干预和改善高中生社交焦虑方面提供相关建议和解决措施。方法:本研究以湖南省张家界市两所普通高中的1400名学生为研究对象,以班为单位进行问卷调查。采用《反刍思维反映量表》、《自尊量表》、
目的:以有学习动机但分心严重的初中生为被试,采用元认知干预技术对其学习状态进行调整与干预,并采用小样本多基线实验设计验证元认知干预技术解决初中生学习分心问题的有效
目的:通过此项回顾性队列研究,探讨与丙泊酚维持相比较,丙泊酚复合七氟烷麻醉维持对成人结直肠癌切除术后苏醒期躁动及恢复质量的影响。方法:收集我院自2016年1月1日至2016年
全域党建联盟是指以党的建设为引领,把有共同愿景、共同利益、共同需求的党组织连接起来,跨组织、跨领域、跨行业建立联合党组织或党建联合体,着力解决当前基层党建工作中存
沙漠环境由于其极端干旱、干燥、强烈紫外线辐射(UV-A和UV-B波段紫外射线)、温差变化大和降水极少的恶劣特征,导致大部分动植物在沙漠中无法生存。然而,在沙漠的生态系统中,微