基于分布式多目标搜索的新冠肺炎胸片识别网络架构设计

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:jugc007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
2019年底开始流行的新型冠状病毒所具备的传染性强和持续变异的特性,导致新冠肺炎的感染和死亡人数不断攀升。临床上X光胸片是甄别新冠肺炎确诊患者的重要依据。采用深度神经网络对X光胸片进行新冠肺炎自动识别,可辅助医生提高甄别新冠肺炎患者的效率与准确率。现有的新冠胸片识别神经网络大都是手动构建的深度卷积神经网络。一方面,新冠患者与健康人体的胸片间差异较细微,甄别难度较大。仅采用卷积来提取局部特征的卷积神经架构在新冠识别性能上还有提升空间。另一方面,手工设计的新冠胸片识别网络,在病毒变异导致新冠X光胸片数据集变化以及在算力受限的移动端等设备上部署时,通常需要手工进行架构的针对性调整,以优化性能并降低运算量。由于架构堆叠深度、通道宽度等众多架构超参数的爆炸性组合使得手工架构调优极为繁琐耗时,往往超出相关人员的精力极限。将神经架构搜索技术应用于新冠肺炎胸片识别,可将该任务上繁琐的神经架构调参工作自动化。然而,频繁的架构训练与性能评估导致当前神经架构搜索的时间成本比较高。本文主要设计了新冠肺炎胸片识别网络的高效多目标神经架构搜索方法,降低了手工调参工作量,高效地自动搜索兼顾模型性能与大小的优秀新冠肺炎胸片识别神经架构。本文的研究工作包括:(1)本文设计了结合卷积与Transformer的新冠胸片识别超网OCNet-TRM(Once COVID-19 Network with Transformer)。OCNet-TRM包含固定组件与动态组件。在固定组件中构建了视觉Rel-Transformer模块与二维卷积注意力模块以提升在新冠胸片上架构的宏观全局特征和高层语义信息提炼能力,设计了多层平滑全连接模块来缓解特征在前向传播过程的损失。动态组件采用了弹性OFA卷积模块作为候选架构搜索空间,本文针对性设计了可调整深度、宽度、核尺寸的候选架构弹性编码方案以灵活搜索不同的子网架构。进一步设计了超网权重共享加速策略,通过精准继承一次性训练好的超网固定组件和动态组件的权重避免了频繁耗时的子网训练,加速架构的性能评估。(2)本文设计了新冠胸片识别神经架构的分布式多目标锥面积进化搜索算法DCAEA(Distributed Conical Area Evolutionary Algorithm)。DCAEA采用锥面积进化算法平衡架构的新冠敏感度与参数量两个优化目标,以便自动生成适合不同算力部署设备的多个不同大小的优秀新冠胸片识别候选架构。同时为DCAEA设计了异步主从岛屿并行策略,协同利用多GPU并行评价架构,进一步降低架构的搜索时间成本。(3)本文在Covidx4和COVID-19 radiography v3两个新冠X光胸片数据集进行了对比实验。实验结果表明本文方法搜索到的OCNet-TRM-B网络比已有手工设计的新冠胸片识别网络COVIDNet-CXR4-A在精确度上高出约4%,而参数量却仅约为其1/7。本文架构搜索方法与其它两种搜索方法相比,在搜索时间和识别性能上也有明显优势。
其他文献
光与原子相互干涉产生的量子相干效应是光学领域的重要研究方向,其中电磁感应光透明(Electromagnetically induced transparency,简称EIT)和电磁感应光栅(Electromagnetically induced grating,简称EIG)是量子相干效应中典型的物理现象。这些现象得到了许多物理学者的关注,极具研究价值与发展潜力。在EIT效应的影响下介质对探测场的吸
学位
近年来,边缘计算的蓬勃发展给机器学习带来了新的挑战和机遇。传统的云端机器学习需要收集用户数据以完成模型训练,但这有泄露数据隐私的风险。而在边缘计算的场景下部署分布式机器学习,即分布式边缘学习,不需要收集用户数据便能完成模型训练。因此,该方案有望成为既能保护用户数据隐私,又能利用数据价值的下一代机器学习解决方案。然而,开发和测试分布式边缘学习面临着众多新的挑战。一方面,当前缺乏对分布式边缘学习通用功
学位
激光诱导击穿光谱(Laser-induced breakdown spectroscopy,LIBS)是用来对样品进行元素鉴别的一种原子发射光谱技术。它的基本原理是:激光脉冲聚焦到样品表面,烧蚀材料产生高温等离子体,通过收集和分析发射的特征谱线就可以确定样品的元素组成。激光诱导击穿光谱技术具有自己独特的优势,例如:对任何状态的物体都可以检测、对样品损伤较小、还可以实现远程在线测量等。因此LIBS技
学位
激光诱导击穿光谱(Laser-induced breakdown spectroscopy,LIBS)是一种以激光和物质相互作用为基础的元素检测和分析技术。LIBS基本原理为脉冲激光经聚焦透镜会聚于样品表面,使得样品表面迅速升温并蒸发出微克量的样品,这些微克量级的样品在瞬间的融化和气化过程中产生高温高压的等离子体,这些等离子体迅速膨胀,辐射出光学信号。最后用光纤收集这些光学信号,并加以分析便可以获
学位
联邦学习是一种能够让多个客户端在不共享数据的情况下协同训练机器学习模型的分布式机器学习技术。然而,已有的研究表明,当客户端之间的数据分布是异构的时候,联邦学习会出现明显的性能下降。为了解决这一具有挑战性的问题,研究人员提出了个性化联邦元学习,其中每个客户端通过在联合训练的全局元模型上进行微调获得个性化模型。尽管个性化联邦元学习在这一问题上取得了不错的成果,但是由于这类方法隐式地假设了不同客户端中采
学位
界面设计是对界面元素布局和人机交互逻辑的整体设计,是APP研发过程中的一个重要环节。传统的APP界面设计主要依赖界面设计师根据软件需求及自身经验来完成,而非专业设计人员往往难以进行APP界面设计。因此,自动识别界面需求文本中的组件信息并自动生成APP界面布局有重要的研究意义。本文设计了一种基于界面需求文本的APP界面布局自动生成方法,具体研究工作包括:(1)针对从界面需求文本中识别组件的问题,本文
学位
分子体系精确的电子结构与光谱是反映分子内部物质结构信息的主要途径,从中可以获得分子的能级结构、分子物理和化学性质等信息。实验获得分子体系的结构与光谱信息受技术手段发展的限制,采用基于量子力学从头计算的分子轨道理论便成为认识分子电子结构与光谱的重要手段。本文采用高精度的多参考组态相互作用方法,主要研究了之前文献中有“争议”的GeH+分子离子、HF分子等体系的电子激发态相关问题,获得了一些分子较为精确
学位
现实中存在大量约束多目标优化问题,这些问题不仅存在多个需优化的目标,也存在诸多限制条件。基于群体搜索的进化算法非常适合求解具有多解特性的多目标优化问题。约束多目标进化算法需要在满足所有约束条件的情况下,得到收敛性和分布性尽可能好的可行非劣解集。在多目标进化算法中处理约束的难点之一是如何有效利用有价值不可行解蕴含的信息,引导种群跨越不可行区域搜索到全局可行前沿;二是如何较完整地捕捉约束带来的形状复杂
学位
高次谐波为产生超快相干XUV光源提供了独特的方法,因具有体积小、高稳定性以及可调谐性等特点,成为了当今获得桌面化极紫外光源的主要手段。对高次谐波发射的谱学及时空特性研究和基于高次谐波光源的电子动力学研究可以让人们更深入的了解微观量子世界。高次谐波本身具有良好的相干性与及极短的脉冲时间特性,对分立级次谐波的能量进行调谐可以拓展谐波源的应用范围与实用价值。在拥有能量覆盖范围较广的XUV光源下,通过阿秒
学位
人脸美感预测(Facial Beauty Prediction,FBP)在计算机视觉领域中是一个非常有趣且富有挑战性的任务,其模拟人类对于容貌图像的感知,捕捉图像中人脸的眼睛、鼻子、皮肤等各项特征,进而量化容貌图像的美感。虽然容颜不代表一切,但拥有一张美丽的脸庞是大多数人内心之中的渴求。容颜的重要性不仅仅体现在个人层面上,在企业层面上,它也能够产生商业价值。因此,研究人脸美感预测具有十分重要的意义
学位