【摘 要】
:
激活函数作为神经网络模型的重要组成部分,对模型表达和学习能力的提高起着至关重要的作用。相同拓扑结构的网络模型在不同激活函数下性能迥异,激活函数的设计一直是神经网络领域的研究热点之一。为此,多种类型的激活函数相继提出,包括参数化激活函数、集成化激活函数和自适应激活函数等。然而,经过多年的探索,人们仍然很难找到一个能够保证神经网络在任何数据分析任务中始终具有最优性能的激活函数,因此,如何根据特定数据分
论文部分内容阅读
激活函数作为神经网络模型的重要组成部分,对模型表达和学习能力的提高起着至关重要的作用。相同拓扑结构的网络模型在不同激活函数下性能迥异,激活函数的设计一直是神经网络领域的研究热点之一。为此,多种类型的激活函数相继提出,包括参数化激活函数、集成化激活函数和自适应激活函数等。然而,经过多年的探索,人们仍然很难找到一个能够保证神经网络在任何数据分析任务中始终具有最优性能的激活函数,因此,如何根据特定数据分析任务为神经网络选配最适宜的激活函数,成为神经网络应用研究的重要工作之一。现有对激活函数的研究主要集中在深度神经网络领域,在浅层神经网络模型鲜有报道。本文以一种新颖的浅层随机神经网络即随机配置网络(Stochastic configuration network,SCNs)为研究对象,结合其增量构造过程的监督特性,提出了面向随机配置网络的激活函数自学习方法。主要工作与创新性成果概括如下:(1)深入分析激活函数对随机配置网络性能的影响,在相同网络参数、不同激活函数和不同网络参数、相同激活函数两种情况下,通过实验研究探索随机配置网络模型对激活函数的偏好,为后续激活函数的自学习方法研究提供了依据。(2)提出了一种基于强化学习的随机配置网络激活函数自学习方法,其利用强化学习算法,通过k-均值聚类自适应离散化方法将高维训练误差离散化为低维状态,构建了误差-激活函数对的学习Q表,从而构建了能够令隐藏层节点自主选择激活函数的学习方法。该方法可以指导随机配置网络模型根据当前误差为每个隐藏层节点选择出该误差状态下最合适的激活函数,达到激活函数的最优组合。(3)提出了一种基于概率的随机配置网络激活函数自学习方法,其在未增加任何训练参数的条件下,通过在网络构造过程中设计激活函数选择概率、softmax构造策略以及奖惩机制,经过一个模型训练,即可选择出与当前任务最匹配的激活函数。面向回归及分类任务的仿真实验证实了上述两种激活函数自学习方法的可行性和有效性。综上所述,所提出的两种函数自学习方法不仅是一种简单有效的激活函数选择方法,更是一种研究激活函数的新视角和新方法。
其他文献
角钢连接的方钢管柱-钢梁节点具有传力明确、转动能力强、延性好、装配率高等一系列优点。楼板组合效应对节点抗震性能的影响是不可忽视的部分,而现有研究对组合节点的关注度却不够,也没有规范化的设计方法。因此,研究角钢连接组合节点的抗震性能极为重要。本文基于工程原型,采用物理试验、数值模拟计算和理论分析相结合的研究手段,分析了角钢连接外套筒式方钢管柱-蜂窝组合扁梁节点的破坏机制、抗震性能指标及应力应变情况,
近年来,中国对外贸易正由高速增长阶段转向高质量发展阶段,在此过程中,跨境电商作为一种新型的国际贸易发展方式,正逐渐成为新常态下稳外贸增长、促经济发展的新动力。目前国内研究成果主要集中在企业和政府发展跨境电子商务的策略上,忽视了基层政府对跨境电商产业发展的促进作用。本文以常州市天宁区为研究对象,分析天宁区政府在跨境电商产业发展中的履职表现和存在的问题,为基层政府发展跨境电商产业提供行之有效的对策建议
近年来,我国的火灾发生率居高不下,始终威胁着人们的生命财产安全。而在火灾发生早期探测火灾并疏散人员可以极大地降低火灾风险,但是目前的火灾探测系统大多数是基于单一信号传感器和简单的阈值判别算法,很难在火灾发生早期探测到火情,而且误报、漏报率高。因此,本文提出了一种基于多传感器信号采集技术,利用温度、CO浓度和烟雾浓度为火灾特征参数的火灾研判系统,在提高火灾预警及时性和准确性的同时,实现了火源定位、H
寒冷地区的岩体工程受季节和昼夜交替的作用,遭受冻融循环的影响。岩体内部结构内部水分冻结作用下产生冻胀力而发生破坏,长期的冻融循环作用对岩体损伤显著。受深部地下工程、沿海工程和环境污染的影响,岩体工程的环境水组成复杂,使得寒区岩体工程在遭受冻融循环的影响之外还遭受环境水的腐蚀影响。因此,本文以酸性环境下冻融砂岩为研究对象,利用MTS816电液伺服岩石力学试验系统和分离式霍普金森压杆(SHPB)试验系
随着世界的经济发展和人口增长,各国对能源的需求日益变大。能源领域至今依然存在着供不应求和时间空间分配不均等问题。相变储能技术能够解决能源利用过程中的分配不均的问题,相变材料用于储能技术在汽车节能、余热回收、建筑保温节能、太阳能蓄热和动力电池热管理等领域具有广阔的应用前景。但相变材料在应用过程中存在泄漏和腐蚀问题,且由相变材料制备而成的相变微胶囊囊芯和囊壁多为有机物,低导热系数限制了其实际应用。针对
由于电动汽车的大规模使用,对锂离子电池的需求逐渐增大,随之而来的锂离子电池退役潮将会对环境造成极大压力。废旧锂离子电池中镍、钴、锂、锰等战略金属含量较高,如果不进行有效回收将会造成资源严重浪费与环境严重破坏。而传统的回收方式一直存在能耗高、效率低、污染严重等问题。因此,迫切需要一种低能耗、可持续的绿色回收电池材料的方法。本文创新性地使用低共熔溶剂基纳米流体为回收锂离子电池正极材料的工质。并且由于实
微波致裂增透技术是一种具有广泛应用前景的煤层气增产新方法。在井下微波激励增产过程中,由于煤层层理作为结构弱面普遍存在于煤体之中,是造成煤体渗透率各向异性的主要原因,那么微波辐射钻孔与煤层层理之间的空间关系将成为影响微波激励增产效果的重要因素。为了探索微波辐射对不同层理倾角煤体渗透性的影响规律,使用自行研制的WY3S02微波辐射装置对不同层理倾角煤样开展了微波辐射试验,通过核磁共振分析仪与计算机扫描
党的十九届五中全会提出,要统筹发展和安全,在平安中国建设上迈上新台阶,要统筹传统安全和非传统安全,把安全发展贯穿国家发展各领域和全过程。随着社会经济的不断发展,工业企业数量不断增多,特别是中小企业如雨后春笋般出现,生产经营过程中的安全隐患也不断增加,随之而来的是各种安全事故的频发。本文介绍了武进区中小企业安全生产监管的基本情况,研究了近年来武进区安全生产形势及发展态势,设计了访谈提纲并对武进区应急
当前我国建筑业安全生产形势依旧严峻,安全事故时有发生。人的不安全行为和物的不安全状态是导致安全事故发生的主要原因,而个体安全知识的缺乏是造成人的不安全行为和物的不安全状态的重要原因之一。相较于传统的安全知识培训,安全知识共享则是丰富个体安全知识更有效的途径。新生代建筑工人已逐步成为我国建筑领域劳动力市场的主力军,具有鲜明的新生代群体特征。然而,新生代建筑工人施工经验相对不足,安全知识储备有限,更容
红庆河煤矿3-1103工作面和3-1101采空区之间留设了双区段煤柱,受相邻3-1101采空区侧向支承压力和本工作面超前支承压力叠加影响下,3-1103工作面回采期间新辅助运输顺槽冲击危险水平高、动力显现明显。本文以3-1103工作面为研究对象,采取理论分析、数值模拟和工程实践相结合的方法,研究了双煤柱开采冲击危险特征以及顶板弱化主动调控双煤柱冲击危险状态。本文研究结论对红庆河煤矿及西部矿区采用双