【摘 要】
:
迄今为止,深度学习已经成功应用于计算机视觉等新兴领域,深度学习的成功除了其包含优秀的卷积结构以外,还得益于激活函数的发展。因此,寻找更合适的激活函数已成为深度学习中必不可少的研究主题。目前,从深度学习中激活函数的使用情况来看,主要是以人工设计的激活函数ReLU及为解决ReLU函数在网络训练过程中出现神经元死亡问题而提出的变体ReLU激活函数为主,通过搜索构造技术产生的混合激活函数的使用情况相对较少
论文部分内容阅读
迄今为止,深度学习已经成功应用于计算机视觉等新兴领域,深度学习的成功除了其包含优秀的卷积结构以外,还得益于激活函数的发展。因此,寻找更合适的激活函数已成为深度学习中必不可少的研究主题。目前,从深度学习中激活函数的使用情况来看,主要是以人工设计的激活函数ReLU及为解决ReLU函数在网络训练过程中出现神经元死亡问题而提出的变体ReLU激活函数为主,通过搜索构造技术产生的混合激活函数的使用情况相对较少,相关研究也比较缺乏。对于不同类型的激活函数,其非线性表达能力不同,对网络学习效果的提升也不同。鉴于此,本文开展了混合激活函数的研究,主要研究工作如下:(1)本文通过研究激活函数GELU、Swish和Mish的结构特点,提出一种原始输入与复合函数调制结构相乘的混合激活函数结构,且本文将LSTM和GRU门控结构的数学表达与该混合激活函数结构的数学表达进行映射,以此确定了本文提出的混合激活函数结构的意义。(2)本文基于该混合激活函数结构,通过蒙特卡洛树搜索技术构造出多种混合激活函数并对这些激活函数进行多种条件下的平衡筛选,最终选择结构简单、可以保留负面信息的激活函数Mash作为本文提出的混合激活函数,且本文通过分析Mash函数的图像特点,研究该函数与其他激活函数的相关性,验证了该函数不仅可以有效避免神经元死亡等问题,而且还可以使网络具有更好的表达能力。(3)在实验对比验证阶段中,本文在多种数据集上将Mash函数及其他激活函数应用到不同类型和不同深度的神经网络模型上进行验证实验。实验结果表明,本文提出的混合激活函数Mash不仅可以使网络在训练过程中更好的收敛,而且具有普适性。(4)在Mash函数参数研究阶段中,本文对Mash函数进行参数扩展,对其扩展后的参数进行研究及实验分析并总结扩展参数在网络训练过程中的作用。
其他文献
目的:观察自体阔筋膜移植编织缠绕包裹缝合治疗陈旧性闭合性跟腱断裂的疗效,探究其临床效果,并与(?)长屈肌腱转位进行比较,为陈旧性闭合性跟腱断裂的治疗提供一种可选择的手术方法。方法:选取2014年01月至2019年12月就诊于我院的跟腱断裂患者。纳入病例的标准:(1)闭合的陈旧的跟腱断裂,病程大于4周;(2)接受自体阔筋膜移植或(?)长屈肌腱转位手术治疗。排除病例的标准:(1)双侧跟腱同时断裂等影响
炎症性肠病(Inflammatory bowel disease,IBD)作为一种全球性疾病,对患者造成巨大困扰,肠道微生物和细胞因子参与了 IBD的发病过程。肝螺杆菌(Helicobbacter hepaticus,H.hepaticus)在某些易感小鼠品系中引起慢性肠炎,被广泛用于IBD肠炎模型的建立。IL-17作为调节炎症和免疫反应的关键细胞因子,在H.hepaticus致肠炎模型中作用未得
目的:既往观察性研究表明参仙升脉口服液对缓慢性心律失常临床疗效明显,但因缺乏长期系统性比较研究结果支持,其临床推广应用受限。本研究采用参仙升脉口服液治疗无晕厥发作的轻中度症状性心动过缓患者,对比治疗前后的主观症状学评分及客观辅助检查结果,客观评价其长期疗效以及对患者生存质量的影响,为参仙升脉口服液的临床应用提供试验基础和理论支持,为缓慢性心律失常患者的临床治疗开辟新的途径。方法:最终共纳入2018
目的:随着人们对于健康的重视程度的加深以及医疗相关技术和设备的不断发展,更多的早期肺癌患者得到了有效的救治。早期浸润性肺腺癌经手术治疗后往往有着较好的预后,但不同病理亚型间存在着一定的差异性。本文分析和探讨病理IA期浸润性肺腺癌预后的影响因素及其不同病理亚型间临床特征的差异性,为临床诊疗工作提供参考。方法:收集2013年1月至2018年12月于我院临床医学院胸外科行手术治疗后,术后病理明确为IA期
胃泌素释放肽(Gastrin-releasingpeptide,GRP)是1979年从猪的胃组织中分离得到的一种神经肽,是哺乳动物蛙皮素样肽家族中的一员,在体内GRP通过与其受体(Gastrin-releasing peptide receptor,GRPR)结合发挥多种生理功能。GRP及其受体在多种动物的神经系统和外周组织中广泛表达,参与调控体内多种生物学作用,包括:促进正常/肿瘤细胞的增殖分化
1930年2月21日,美国派拉蒙公司出品的喜剧片《不怕死》(Welcome Danger)在上海租界的大光明与光陆两家戏院上映,片中有辱国族尊严的情节引发了国人强烈不满。由著名影人洪深在戏院登台演说、号召观众拒看开始,民众、舆论、官方同仇敌忾,最后演变成一场自下而上的抗议行动,国民政府的积极作为让事件最终得到了妥善处理。此后,好莱坞影片不敢再恣意丑化中国形象,辱华片渐呈消退之势。中国人在银幕上的国
胃癌(Gastric Cancer GC)是发生在胃上皮组织的恶性肿瘤,具有发病率高,转移率高,死亡率高的特点。传统的抗肿瘤和靶向治疗对预后有轻微改善,但对转移及进展期患者无明显改善。通过监测肿瘤相关miRNA、靶蛋白及基因组相关转移基因,可作为治疗胃癌的新突破点。南蛇藤(Celastrus orbiculatus thumb.)为卫矛科南蛇藤属植物,药性辛温,具有抗肿瘤、抗炎、抗病毒、抗氧化、杀
A型塞内卡病毒(Senecavirus A,SVA),旧称塞内卡谷病毒,属于小RNA病毒科塞内卡病毒属。SVA是A型塞内卡病毒相关水疱病(SVA-associated vesiculardisease,SAVD)的病原体,其感染会引起病猪鼻部、口腔和蹄冠处出现特征性水疱病变,同时伴有抑郁、食欲不振、嗜睡、跛行等症状。2014年以来,美国、巴西、泰国、哥伦比亚、越南、中国等多个国家相继报道了 SAV
禽致病性大肠杆菌(avainpathogenic Escherichia coli,APEC)会引起鸡大肠杆菌病,常诱发心包炎、肝周炎、气囊炎、卵黄性腹膜炎等,造成严重的经济损失,阻碍家禽养殖业的健康发展。鸡白痢沙门氏菌(Salnmoella enterica serovar Pullorum,S.Pullorum)和鸡伤寒沙门氏菌(Salmonella enterica serovar Gall
压强测量一直是工程应用中的测量重点,尤其是在易燃易爆等危险区域测量压强参数。传统的压强测量方法通常采用电学传感器探测信号,但是电学传感器单元的机械性能、信号传输稳定性都较差,无法精准的采集压强和应变信息,也难以满足在复杂环境下的压强测量需求。而基于光纤结构的压强传感器体积偏小、质量较轻,同时其不易受电磁等信号干扰,灵敏度及测量精度相对较高,在复杂环境压强测量领域,比如,输油管道内部压强测量、海底压