【摘 要】
:
深度学习成为了目前关注度极高的学术领域,技术层使用了深度神经网络(Deep Neural Networks,简称DNN),通过深度神经网络对输入的数据进行学习分析的机器学习算法,是人工智能领域的重要分支,因其对数据表示出的强大拟合能力,近几年来在图像分类、自然语言处理和语音识别等领域已取得了巨大成功,但因其庞大的模型结构和较低的运算速度导致在很多小型设备上的部署受到限制。神经网络面临的模型大,运算
论文部分内容阅读
深度学习成为了目前关注度极高的学术领域,技术层使用了深度神经网络(Deep Neural Networks,简称DNN),通过深度神经网络对输入的数据进行学习分析的机器学习算法,是人工智能领域的重要分支,因其对数据表示出的强大拟合能力,近几年来在图像分类、自然语言处理和语音识别等领域已取得了巨大成功,但因其庞大的模型结构和较低的运算速度导致在很多小型设备上的部署受到限制。神经网络面临的模型大,运算慢的问题,经实验表明,合理的剪枝方法可以有效解决。剪枝技术是在保持深度神经网络性能基本不变的情况下,去除一些在模型中多余的部分。网络剪枝方面分为两类,一类是面向神经元,另一类面向权值。神经元的剪枝过程中,通过去除多余的结点来迅速降低模型的复杂性,提升计算效率。结点删除能适用于更多的应用场景,但权值裁剪应用情况比较局限,需要在特定的框架和硬件条件下才能实现加速效果。神经元剪枝在任何框架下都能极大地压缩模型和提升运算速度,拥有更强的适用性。但神经元剪枝中存在删除大量结点后模型准确率下降过快的问题。尽管目前有许多研究者关注神经网络的剪枝,但是目前神经网络的剪枝依然面临许多问题:1)深度神经网络裁剪算法中对神经元重要性赋值的时效性问题。2)如何利用神经元之间的相关性设计更高效的无参剪枝方法。针对这些问题展开研究,我们的主要成果如下:(1)解决深度神经网络裁剪时对神经元重要性赋值的时效性问题,我们创新性地提出了记忆性优化方法。在神经网络的训练过程中神经元的重要性并非一成不变的,而以往算法通过一次性计算得到当前神经元的重要性,并删除不重要的神经元,这样的裁剪思路明显存在问题。针对这个问题,我们将积分制策略应用到神经元权重赋值的过程中,该策略能够有效的解决神经元赋值时的时效性问题。该记忆性策略能够根据不同的神经元个数进行调节,并且在网络结构裁剪时能够合理的“记忆”之前的权重。(2)提出无参的神经元相关性判定方法。传统的神经元裁剪是将神经元经过赋值排序之后,根据一定的准则删除不重要的神经元,或者根据算法判定神经元之间的相关性,通过设定阈值来删除其中一个,但是这个界限往往需要人为的调整,就会存在较大的误差。本文根据记忆性赋值结果和首次结果的对比中,发现了神经元之间相关性的判定方法。该方法无需参数调整和复杂的相关性计算即可判定可相互替代的结点。实验验证这种方法的有效性,对比了三个算法,随着裁剪个数不断增多,优化后的算法能够有更强的稳定性。
其他文献
农业产业新型经营主体能够打破传统农业粗放型发展的局限,提高农业产业集约化水平,整合农业生产要素资源,增强产业经营利润收益。海南香蕉产业新型经营主体主要包括香蕉种植大户、香蕉专业合作社、香蕉种植企业等,这些新型经营主体发展效益直接影响着海南香蕉产业发展方向和质量。论文首先介绍了相关概念、农业现代化理论及农业规模经营理论等,梳理相关文献研究成果;其次,分析了海南香蕉产业发展概况、海南香蕉产业新型经营主
当前全球疫情和世界经济社会形势异常严峻复杂,我国经济下行压力不断加大。在这样的大环境下,受楼市调控政策加码、银行贷款收紧、多家下游房企爆雷、建筑市场高度饱和以及原材料成本不断上涨等多重因素影响,建筑市场竞争日益激烈化,施工企业面临着愈发艰难的生存困境。为了在当前的困境中尽可能地维持和持续提升自身竞争力,建筑企业如何采取合法合规的方式,压缩成本、提高企业效益,成为了一个迫在眉睫的问题。建筑企业涉税业
随着全球宏观经济的飞速发展,资本在国家层面的流动愈发频繁,各国金融市场间的联系在不断加深。经济全球化的时代背景下,各国投资者情绪具有紧密的传染性和相关性,投资者情绪在国际上的传染导致全球系统性风险事件频发。了解各国投资者情绪的溢出方向、溢出强度和动态趋势,对投资者规避全球范围的金融风险具有重要的理论和实践意义。本文采用溢出指数方法研究投资者情绪的全球传染和股票市场风险传染的联系,首先,通过构建基于
全球大气模式在发展过程中不断获得改进,并逐渐采用非结构计算网格,如以球面重心Voronoi网格为特点的MPAS-A模式。为改进MPAS-A模式初值,相关的资料同化研究同步在积极开展。本文为实现利用变分方法快速同化多源观测资料的需求,以美国NCEP业务上使用的GSI系统作为同化模块,基于守恒重映射方法进行非结构与结构化球面网格转换,构建了GSI-MPAS同化及预报框架,并进行了网格转换测试和同化预报
职业分割是社会中存在的普遍现象,与工作-家庭冲突有密切联系。目前学术界对工作-家庭冲突前因变量的研究包括工作、家庭和个人因素三个方面,但在工作领域的研究多聚焦于工作时间、工作卷入以及工作压力等对工作-家庭冲突的影响,忽略了职业分割这一宏观角度。职业分割是指劳动力市场制度与劳动者人力资本的差异会使劳动力市场出现分化,形成不同的职业阶层、所有制部门以及管理职级,这会直接影响个体工作-家庭冲突水平。本文
我国是世界最大的海水养殖国,联合国粮农组织统计数据显示,我国海水养殖面积和产量均居世界第一。持续性的海水养殖规模扩张,集约化程度提升,促进了我国农业产业结构调整,繁荣了沿海渔业社区,同时也带来了一系列环境生态问题。国家海水养殖环境监测数据显示,长期以来,增养殖区周边水体均存在着各种污染物不同程度的超标现象。通过科学客观的海水养殖水体污染产生量核算公式,测算出水体污染物产生量,再与产业发展代表性指标
大学校园景观设计作为校园环境的重要组成部分,对大学生的人格塑造和身心健康都有着重要的影响。近年来,景观设计方向的学者对大学校园景观方面的实践和理论研究虽然已经取得了丰硕的成果,但从内蒙古地区校园的实际建设情况出发,营造具有内蒙古文化特色校园景观的理论方法还很缺乏,部分校园景观存在照搬硬套现象,如出现地域识别性不强、创新性差、现代科技感不足等问题。因此,对于建设新时代的大学校园,不仅仅要在校园的布局
红树林生态系统是地球上最特殊的生态系统之一,同时也是地球上生物地球化学活动最频繁的地区。红树林有着极丰富的生物和微生物资源,有极高的生产力和丰富的生态功能。它也是氮、碳、硫等元素最重要的汇,在这些元素的生物地球化学循环中扮演不可忽视的角色。其中氮素是红树林生产力的限制元素,氮循环是红树林生态系统中最重要的循环之一。而氮循环是由微生物介导驱动的,微生物参与包括硝化、反硝化、固氮、厌氧氨氧化等一系列重
面对中国城市化的高速发展,以及生产力的提高,社会的竞争性也越来越强,各行各业内卷严重,城市生活工作让人充满了压力、内在情绪变糟糕,人们需要寻求一种能够亲近自然、释放情绪、减轻生活负担的天然环境。城市滨河绿地是主要的城市公共开放性空间,因为有着特殊的自然优势,不但可以呈现水岸的自然生态景观环境,还可以创造出具有开放的、层次丰富的多功能体验空间,给城市生活的人们提供休闲体验的场所、放松身心的自然环境,
随着遥感技术应用的发展,作为其重要分支之一的遥感影像场景分类与识别也需要不断发展和更新技术,结合深度学习在图像分类上已有的研究成果,往往能取得较好的效果,这对于场景分类的自动化与程序化而言非常重要。遥感影像分类与识别研究中存在的关键性问题是遥感影像的样本标注数据较少、在场景分类模型训练过程中极易出现过拟合,许多图像分类的模型和方法并不完全适用于遥感影像的场景分类。将小样本学习与遥感影像处理相结合,