融合张量结构压缩深度神经网络

来源 :深圳大学 | 被引量 : 0次 | 上传用户:xzb3560680
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习近年来得到了快速的发展,在计算机视觉,自然语言处理等众多领域有着优越的表现,催生了一系列智能产品的落地。而深度学习的本质是在大数据支撑下,由多层神经网络堆叠形成的信号处理系统,具有参数量大,计算复杂度高等特点,需要依靠高性能的服务器端来处理庞大的网络参数运算与更新。很多时候,出于响应时间、隐私方面和服务稳定性的考虑,更希望将这些网络模型放在移动终端上运行,而移动终端的运算资源及计算能力有限,不能直接运行模型。目前普遍的做法是将训练好的模型存放在在云端,通过云与移动端进行信息交互,这导致了产品的使用效果的下降。因此,对深度神经网络进行压缩以降低其参数量和存储要求,提升运算效率,保持网络性能,使其满足通用移动设备的要求,已经成为是当下的研究热点之一,对移动设备的发展也有着重要的工程及社会意义。论文分析了国内外现有网络参数压缩模型的优缺点,结合网络参数的低秩和稀疏特性,提出以下模型压缩算法:1)基于克罗内克分解(Kronecker Tensor Decomposition,KTD)的改进方法压缩神经网络。该方法利用张量数据的多重克罗内克结构成功地刻画了数据在多重压缩结构上的内在关系,以使其能够识别复杂数据中的特征结构。实验结果表明,多重克罗内克分解拥有良好压缩率同时能够确保网络模型的准确率。2)基于张量列(Tensor Train,TT)分解提出多重TT(Multi-TT)分解压缩神经网络。首先设置多组分解参数对权重矩阵进行单TT(Single-TT)分解得到多组子矩阵,并将多组子矩阵叠加得到Multi-TT分解。然后,应用Multi-TT分解压缩神经网络,实验结果表明,该方法能在性能损失较小时获得更好的压缩率。最后,为了降低模型压缩造成的性能损失,额外引入稀疏权重矩阵与TT分解融合,得到了更合理的压缩模型。3)基于改进Shuffle算法压缩神经网络。该方法对输入数据进行移位与扩充操作得到新输入矩阵,将其与分解后的子矩阵运算得到输出数据。实验表明,移位并扩充的输入数据可以加强模型的学习能力,提升因模型压缩而下降的准确率。
其他文献
图像形式的信息交流一直是人们用来传递信息最为生动最为直接的方法,也一直都是最为简便的信息交流和传递方式。随着计算机技术、多媒体通信技术和智能移动设备的迅猛发展,数字图像得到了广泛的应用。其中,应用于虚拟桌面、在线教育、远程视频会议的屏幕内容图像走进了人们的日常工作和生活当中。屏幕内容图像由计算机直接生成,其展示形式较多,包括但不限于文本内容、动漫图像、游戏画面。在图像的获取、处理、传输和记录的过程
锗(Ge)与锡(Sn)同为IV族元素,其合金(Ge1-xSnx)具有与硅(Si)一样的金刚石结构。特别的是,理论上预测当Sn含量达到6%-11%时,锗锡合金的能带将会从间接带隙转变为直接带隙,这对于实现高效率、低成本的硅基光电子芯片具有重要的意义。但是由于Sn在Ge中的溶解度仅有1%,且晶格失配度较大(14.7%),制备具有高锡含量的锗锡合金薄膜仍然充满了挑战,对于锗锡合金能带结构的调控及其机理研
随着创新创业成为驱动经济发展的新引擎,众创空间顺理成章的成为了中国未来经济发展的重要实践载体,在去过剩产能、盘活城市存量不动产和为创新经济发展降低成本等方面发挥了巨大作用。近年来,政府不断推出一系列鼓励“大众创业,万众创新”的政策,全国各地创业热情高涨,陆陆续续建设了一大批众创空间。随着众创空间的深入发展,其中很多众创空间单纯靠“二房东”收租,缺乏可持久运营的商业模式难以维持生计,众创空间领域开始
在我国众多少数民族中,苗族是一个富有古老文明的民族,可以追溯到距今五六千年前的炎黄传说时代,在历史发展的过程中,优秀的民族文化得以保存,为民族文化创意产业的发展提供了取之不尽的宝贵资源。贵州黔东南是苗族人民最聚集的地方,近十几年在国家大力发展旅游业的政策下,贵州黔东南被更多外界人士知晓,丰富的苗族地域文化得到了广泛的传播。文化创意产品是指文化与创意结合创作出来的载体形式之一,在当今经济蓬勃发展的时
我国经济进入高速发展阶段,在居民的物质生活水平得到稳步提升的同时大众对于精神文化的需求也在不断增长。因此,能为大众提供集中性的文化娱乐产品体验及服务的建筑——城市文化综合体应运而生并逐渐融入大众的生活当中。在城市文化综合体内由个体经营的具有特色、风格、文化等特征,涵盖餐饮、画展、讲座、音乐、文创产品等为一体复合式经营的独立书店,满足消费者阅读、餐饮、逛游、休息等物质需求与精神需求相结合的多元化经营
当前人们对海洋资源的探索和开发与日俱增,水下机器人技术也随之飞速发展。为了更优越的性能,人们加大了对仿生机器人的研究,仿生机器海豚已成为当今的研究热点之一。机器海豚可以在许多领域发挥着重要的作用,比如资源探测、泄露检测、水质检测、军事探索和攻击等。目前多数的机器海豚是采用地面站进行控制运动的,但是现阶段水下无线通信技术多数存在着一定的延迟,难以实时传输数据和控制指令。为了使机器海豚能够自主游动,可
仿生系列智能机器人发展以来,主要分为陆地机器人、水下机器人和空中飞行无人机三大类。其中无人机与陆地机器人发展迅速,而水下机器人有几大研究所进行研究,并因在水下水质质量检测、水下空间构建、生态数据采集、军事信息传输等一系列工程应用得以加重关注。现有研究的水下仿生机器人推进方式主要以身体/尾鳍(body and/or Caudal Fin,BCF)和中央鳍/对鳍(Median and/or Paire
图像隐写术是多媒体安全领域中的一种常用技术,它主要通过对图像载体的像素值或DCT系数的轻微修改来嵌入秘密信息。随着图像隐写术的发展,隐写分析术的目的则是检测图像中是否存在秘密信息。隐写和隐写分析一直在对抗博弈中共同发展,基于最小失真框架的隐写和基于有监督学习的隐写分析成为主流的研究方法。为了提高隐写的安全性能,图像内容自适应隐写算法将修改集中到隐写分析器难以建模的纹理复杂区域。随着深度学习技术在图
二维码由于其成本低和使用方便等特性,得到了广泛应用。为了抵抗非法复制(Illegitimately-Copying,IC)攻击,现有的防复制二维码通过隐藏认证信息来提高其安全性,如最新提出的:2LQR二维码(Two-Level QR code)、LCAC二维码(Low-Cost Anti-Copying 2D barcode)和STAC二维码(Superimposed-Tag Anti-Copyi
随着高效的视频编码技术和计算机网络的普及,数字视频已经渗透到人们生活的方方面面。视频一方面作为娱乐产品丰富人们生活,另一方面在司法取证和公共安全中也扮演着重要的角色。视频处理技术的发展和视频编辑软件的涌现,使得普通用户轻易就可以完成视频内容的修改。不法分子通过篡改视频内容达到造谣、嫁祸他人目的的案例越来越多。因此视频原始性取证分析技术对个人权益和社会的稳定都具有重要的作用。本文针对视频原始性证实的