【摘 要】
:
卷积神经网络在计算机视觉领域占据重要地位。为获得一个高性能的网络模型,许多研究致力于卷积神经网络的优化方法。从卷积神经网络的训练角度出发,模型的性能会受到训练中常见问题如梯度消失问题、梯度爆炸问题和鞍点问题的影响。从结构设计角度考虑,合理的卷积神经网络需要具备优秀的特征提取能力,而其能力的强弱很大程度上取决于网络中神经元之间的连接模式。从这两个角度入手,本文对一类面向卷积神经网络的训练与结构优化方
论文部分内容阅读
卷积神经网络在计算机视觉领域占据重要地位。为获得一个高性能的网络模型,许多研究致力于卷积神经网络的优化方法。从卷积神经网络的训练角度出发,模型的性能会受到训练中常见问题如梯度消失问题、梯度爆炸问题和鞍点问题的影响。从结构设计角度考虑,合理的卷积神经网络需要具备优秀的特征提取能力,而其能力的强弱很大程度上取决于网络中神经元之间的连接模式。从这两个角度入手,本文对一类面向卷积神经网络的训练与结构优化方法进行了研究,涉及到的三个工作呈列如下。(1)为有效缓解和处理卷积神经网络训练中常见问题,如梯度消失、梯度爆炸和鞍点问题,本文提出了应用在训练过程中的激活梯度(Activated Gradient,AG)算法,并基于AG算法进而将普通卷积神经网络模型改良为一类激活梯度的卷积神经网络(Activated Gradient Convolutional Neural Network,AG-CNN)。AG算法的核心理念是使训练过程中的梯度按一定的关系进行映射。将AG算法嵌入到训练使用的优化器中,使得在卷积神经网络优化过程中的梯度不会过大或过小,能够持续地以一个合理的范围更新网络的权值,进而提高模型的性能。本文通过数学理论严格地证明了所提AG算法缓解和处理梯度消失问题、梯度爆炸问题和鞍点问题。此外,在CIFAR、Image Net和PASCAL VOC数据集上进行了使用嵌入AG算法优化器的前后对比实验。实验结果表明嵌入AG算法的优化器能够使得模型获得更好的权值,进而提高了卷积神经网络模型的性能。(2)为解决卷积神经网络在浅层部分特征提取效果较差的问题,本文提出了采用组合激活函数的方法来解决该问题。本文在随机连线卷积神经网络(Randomly Wired Convolutional Neural Network,RW-CNN)进行了浅层结构的改进。具体来讲是在原始RW-CNN基础上提出了两种组合激活函数来替代原激活函数的方案。为了验证所提方案的有效性,RW-CNN应用在脑肿瘤的诊断任务中。激活函数组合的方案通过保留网络浅层的特征信息进而改进了模型,并使RW-CNN模型的在脑肿瘤分类准确率提高了约0.5%-1.0%。实验结果验证了该模型的实用性和有效性。并且基于脑肿瘤诊断数据,进行了改进后的RW-CNN与其他经典的卷积神经网络的对比实验。结果表明,改进的RW-CNN模型在脑肿瘤的诊断任务中具有优良的性能。此外,RW-CNN模型的应用成功地为神经网络的构建提供了一种新的思路和方法,同时也丰富了医学图像分析的人工智能方法。(3)为探索更多的卷积神经网络结构中连接模式的设计方法,本文提出一种利用秀丽隐杆线虫神经元的连接组来构建卷积神经网络的方法。所提出的线虫连接组卷积神经网络(Nematode Connectome Convolutional Neural Network,NC-CNN)的网络结构主要是依据生物连接组中神经元间的连接模式进而构造卷积层。此外,本文给出了NC-CNN的详细转换方法和具体实现算法。并且还在CIFAR和Image Net数据集上进行了大量的实验来评估NC-CNN模型在图像分类方面的性能。实验结果证明了NC-CNN模型在模型参数量差别不大的情况下优于一些经典的人工设计的网络。该模型的有效性表明,基于生物神经连接体设计神经网络连接模式是可行的,并且为卷积神经网络的结构设计展现了新的考虑角度。
其他文献
目的:阿尔茨海默病(Alzheimer’s disease,AD)是一种以进行性痴呆为主要临床表现的、多种因素共同导致的神经退行性疾病,其病理表现主要为Aβ异常聚积形成的老年斑(SPs)沉积及Tau蛋白异常磷酸化导致的神经原纤维缠结。在出现经典的进行性痴呆的临床症状前,患者具有长达几十年的Aβ蛋白沉积病史。抗AD药物开发的历史一直受到中后期临床试验失败的干扰,其原因在于在抗Aβ药物三期临床时所入组
目的探讨超声造影(contrast-enhanced ultrasound,CEUS)在肺局灶性病变良恶性鉴别诊断及其引导病灶穿刺活检的临床价值。资料与方法以2019年1月至2022年3月我院收治的经超声检查可见的肺局灶性病变的患者作为研究对象。对全部病例进行回顾性分析,分为常规超声引导组(163例)及超声造影组(66例),且根据病理结果分为恶性肿瘤组(162例)及良性病灶组(67例)。分析记录恶
目的:探讨经超声引导的微波热消融治疗甲状腺乳头状癌颈部转移淋巴结的疗效及相关影响因素。方法:选取2017年12月至2020年8月期间深圳市第二人民医院介入治疗科收治的60例经甲状腺乳头状癌外科手术切除、放射性碘131治疗后发生颈部淋巴结转移的患者,所有患者均接受超声引导下微波热消融术。在接受微波热消融治疗前以及治疗后1、3、6和12个月,通过超声检查对淋巴结内部回声、血流变化以及消融淋巴结的吸收情
物质使用障碍(substance use disorder,SUD)是国内外社会发展所面临的重要公共卫生问题,是多因素病因导致的慢性复发性脑疾病。SUD具有“难戒断、易复吸”等特点,目前国内外均采用了各种措施遏制SUD,但其全球负担仍在不断加重,究其原因,尽管SUD患者治疗后努力摆脱对物质使用的肉体依赖,但长期物质使用导致的脑结构、脑功能的损伤仍未恢复。因此,迫切需要进行SUD病理学机制的探索,以
【研究背景】食管癌是常见的恶性肿瘤之一,在我国,鳞状细胞癌是食管癌最主要的病理类型,其主要的转移方式为淋巴结转移。常规的术前影像学检查方法包括超声及超声内镜,消化道造影,CT等,尽管在诊断食管癌方面有较高的灵敏度及特异性,但依靠形态学及大小在诊断淋巴结转移方面仍有难点。因此,如何更加有效地在术前诊断淋巴结转移对临床治疗决策有重大意义。PET/CT作为一种新兴的影像检查方法,已在肿瘤领域广泛应用,P
目的:利用扩散光谱成像(DSI)定量参数及形态学方法研究三叉神经痛(TN)患者三叉神经白质纤维束及皮质下结构体积变化,评价不同参数变化以及其与临床的相关性。方法:为了实现高分辨率纤维追踪和基于体素的形态学分析,本研究纳入60名TN患者和35名健康对照者(HCs),使用T1WI常规磁共振成像(MRI)和DSI进行扫描。采用DSI-Studio软件对DSI数据进行处理,在三叉神经脑池段内手动放置感兴趣
研究目的:利用红细胞参数建立数学模型筛查与诊断地中海贫血(thalassemia trait,TT),在小细胞低色素性贫血中鉴别α-TT、β-TT与缺铁性贫血(iron deficiency anemia,IDA)。方法:回顾性收集2019年01月至2020年12月北京大学深圳医院地贫筛查人群的八项红细胞参数:RBC、HGB、HCT、MCV、MCH、MCHC、RDW-SD、RDW-CV;根据地贫基
目的:探讨剪切波弹性成像(SWE,shearwaveelastography)和超微血管成像(SMI,supermicrovascularimaging)结合常规超声BI-RADS分类标准对鉴别乳腺良恶性结节的诊断价值。方法:选取88例患者110个常规超声评估为BI-RADS3-5类乳腺结节进行分析,分别进行SWE和SMI检查,全部结节经病理证实为良性或恶性,SWE获得结节的各剪切波包括杨氏模量最