基于进化计算的深度神经网络架构搜索算法研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:sjzshiyijshan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络模型在图像分类和目标检测等计算机视觉相关任务中取得了令人瞩目的成就。网络的架构是一个深度神经网络模型是否能够高效的训练和应用的基础,也是促成这一成就背后的主要驱动力之一。现有的高性能神经网络架构通常由具有丰富专业知识的人类专业手工设计,需要尝试大量不同的超参数和网络结构参数,并进行长时间的调优。随着信息时代的来临,数据的形式和来源日益丰富,为不同数据场景设计定制网络架构是整个深度神经网络模型开发过程中的一个重要挑战。深度神经网络架构搜索(Neural Architecture Search,NAS)将网络架构的设计建模为一个优化问题,为网络架构设计提供了一种自动化的解决方案,通过算法自适应的更改网络架构的组件,实现在特定数据集上的性能提升。尽管NAS方法的研究取得了显著的进展,但仍存在一些重大挑战,特别是执行探索性神经结构搜索所需的大量的计算资源。本文基于进化计算的相关理论和机制,聚焦于进化神经网络架构搜索算法的计算效率和性能提升,提出了多个新颖的搜索算法。本文的主要研究工作和贡献如下:(1)针对在进化优化过程中,个体的适应度值评估计算成本过高的问题,提出了基于采样训练和节点继承的进化神经网络架构搜索算法(SI-Evo NAS)。在父代种群,通过采样训练的方式使得每个节点获取训练权值。之后,通过节点继承的方式生成子代种群,子代种群可以直接从父代种群继承相应节点的权值作为初始权值,无需任何训练即可评估其适应度值,进而避免了昂贵的个体训练过程。此外,提出了一组轻量级多尺度特征重构卷积算子,并将其集成到算子搜索空间中。所提出的多尺度特征重构卷积算子可以通过算法自适应的集成到神经网络架构中,提高神经网络架构的性能。实验结果表明,所提算法不仅搜索效率高,而且具有很好学习性能。(2)针对直接搜索神经完整神经网络架构计算成本过高的问题和One-shot NAS中的“多模型遗忘”问题,提出了基于部分权值共享策略的完整神经网络架构搜索算法(Evo-OSNAS)。首先,Evo-OSNAS提出一种新的节点编码方案,直接编码完整神经网络架构。基于此,提出了一种基于进化机制的部分权值共享策略,生成的子代个体可以共享两个父代个体的权值或者仅共享单个父代个体的权值,限制了权值共享的范围,在一定程度上克服了“多模型遗忘”问题。此外,Evo-OSNAS在搜索空间中编码了一组金字塔卷积算子,在单次卷积计算中可以使用不同大小的卷积核,用于同时捕获细节和全局特征信息,提高模型的特征处理能力。Evo-OSNAS算法能够不借助任何代理指标直接基于给定的数据集设计完整神经网络架构。在不同规模的公共数据集上的实验结果表明,所提算法搜索到的神经网络架构表现出具有竞争力的分类性能。(3)提出一种面向目标检测问题的进化神经网络架构搜索算法(Evo Det),用于搜索目标检测模型的主干网络架构。针对每个个体的Image Net预训练计算成本极高的问题,提出了一种个体参数映射策略,可以将预训练好的教师网络的预训练权值映射至每个个体(学生网络),进而避免了每个个体的Image Net数据集预训练的过程。此外,设计了一种个体分布式训练策略,通过将种群中的个体并行放置在不同的GPU中并同时训练它们,减少了不同GPU之间通信消耗的负面影响,提高了计算资源的利用率和种群适应度评估的效率。实验结果表明,Evo Det不但可以高效的搜索到性能优秀的主干网络架构,且生成的主干网络架构具有较好的迁移性能。(4)最后,论文在分析生物医学影像分类问题和纺织物瑕疵点检测问题基础上,提出利用进化神经网络架构搜索算法在不同数据场景下搜索神经网络架构。实际的数据集上的测试结果表明,所提算法可以针对不同数据集定制神经网络模型,并且可以获得有竞争力的分类性能和检测性能。
其他文献
动脉粥样硬化是缺血性脑卒中发生及发展的主要病因,早期识别不稳定斑块对缺血性脑卒中的防治至关重要。高分辨率磁共振血管壁成像(high resolution magnetic resonance imaging vascular wall imaging,HR-VWI)不仅可以直观评估管腔狭窄及血管重构状况,还可以定性或定量评估斑块成分及斑块负荷等,判断缺血性脑卒中的病因及发病机制,识别与缺血性脑卒中
随着军事需求的不断增加,多种武器设备都会面临爆炸冲击波环境生存问题,例如,水下爆炸冲击波对船舶的作用、空中爆炸冲击波对飞机、导弹等结构的影响等,因此爆炸冲击波载荷作用下结构的动态响应及防护研究是一个急需关注的热点与难点问题。本文主要对空中爆炸冲击波方向的研究进行了详细的梳理及综述,首先对空中爆炸冲击波载荷的参数经验公式计算、数值模拟及载荷试验验证研究进展进行了综述,进一步详细介绍了冲击波作用下平板
<正>随着我国高等教育事业的不断发展,高校事业、项目经费不断增长,高校的经济活动不断多元化,高校的档案管理不断被强化。高校财务会计档案作为高校档案的重中之重,是高校各项日常经济活动的见证者和记录者,其重要性不言而喻。高校财务会计档案管理的研究是当前的热点之一,国内诸多学者做了很多相关方面的研究,本章就从高校财务会计档案管理的现状、信息化发展趋势以及应对措施方面的研究理论加以综述,并对今后的研究进行
期刊
聚氨酯玛蹄脂碎石是一种以聚氨酯完全替代沥青作为胶黏剂的新型道面铺装材料,其拥有比沥青混合料更为优良的路用性能。课题组通过前期研究发现,在低于最佳胶石比的情况下,聚氨酯玛蹄脂碎石仍然远超沥青混合料的性能。因此,为了降低成本并针对不同工程的技术要求,本文采用不同的胶石比对聚氨酯玛蹄脂碎石的性能变化规律进行分析研究,建立胶石比与路用性能之间的预测模型,并评价了聚氨酯玛蹄脂碎石的耐久性,为该材料的推广应用
“社会责任”作为《普通高中生物学课程标准》(2017年版2020年修订)提出的生物学学科核心素养的四个要素之一,指的是“基于生物学的认识,参与个人与社会事务的讨论,作出理性解释和判断,具备解决生产生活问题的担当和能力。”是生物学课程的重要目标,也是学生个人成长和社会进步的“正能量”。转基因技术作为现代生物技术的核心,被世界各国作为支撑发展、引领未来的重要战略选择,但其安全性问题引起了社会的巨大讨论
高中语文核心素养包括语言的建构与运用,思维的发展与提升,审美的鉴赏与创造和文化的传承与理解四方面,现今在语文教学中越来越强调对思维品质的培养和提升,《普通高中语文课程标准(2017年版)》也提出要求,要求学生在鉴赏活动中,能从不同角度鉴赏文学作品的主题、形象、思想情感、表达方式等的理解,而且能比较多个不同作品。关于思维品质的培养,国内外也有许多相关研究,西方心理学家吉尔福特提出从语言文字、行为、图
桩基础技术发展历史悠久,从最初的木桩到钢桩,再到钢筋混凝土桩,该技术越来越成熟。在现代化的建筑市场环境下,企业间的竞争激烈,掌握桩基础施工技术,能扩大自身的实力及影响力,在建筑市场占据有利地位。文章对土木工程施工中桩基础施工技术的原则、要点等相关知识展开了研究,以供参考。
<正>肖复兴是上世纪80年代以来创作活跃,收获颇为丰厚的作家之一。他一生追求生活的本真和艺术之美,即使在物质极度匮乏的年代里,也坚持用读书、用音乐、用思考来滋养自己。他的文字真诚而质朴,他写普通人,为普通人立传,总能写透生活的纷纭复杂与人物的多样性格。他的文字像一双温暖有力的大手,拨开物欲时代里的浮华,重见内心底里的赤子力量。
期刊
随着电影艺术与视觉艺术的飞速发展以及观众对电影审美的提升和变化,视觉设计逐渐在电影中被普遍运用,并且涉及领域广泛,影像中开始呈现出一些独特的视觉风格。近年来“赛博朋克文化”热潮开始在年轻人文化中兴起,受到了国内外电影界的广泛关注。赛博朋克视觉风格逐渐成为了被主流观影群体所接受的题材,赛博朋克电影的视觉语言正在从审美价值和人文内涵等方面深深的影响着现如今的其他设计领域。本文通过纵向梳理赛博朋克电影的