胶囊网络连接模式及其应用研究

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:niannian827
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域,随着计算机运算效率的提升,促进了深度卷积神经网络的跳跃式发展,可以有效地从大量原始训练数据输入中获取特征表示。但是卷积神经网络得到的感知表征是不会随着平移、视角变化而改变,具有特征不变性。此外,具有池化的卷积神经网络也会无可避免的带来特征损失。胶囊网络作为一个新颖深度学习模型,其独特的胶囊式特征表示形式在一定程度上弥补了卷积神经网络的缺陷。由多个神经元构成的胶囊以向量形式表示特征中部分-整体的空间位置关系,并对特征变化具有等变性。胶囊层间采用动态路由算法更新胶囊,取代卷积神经网络中的池化操作,有效遏制特征的不良损失。但由于胶囊网络发展历程较短,仍存在一些不完善之处,如在彩色RGB数据集(如CIFAR-10、SVHN等)上的表现不佳、研究应用领域待扩展等。针对这些问题,本文围绕胶囊网络,从优化模型的连接模式和图像生成应用两方面入手,改善其在彩色数据集上分类精度和拓展其应用领域。本文主要工作如下:1.研究了深度学习中一个新颖的分支——胶囊网络。介绍了胶囊网络的研究背景,总结文献中提出的胶囊网络模型的任务类型、研究目标。着重介绍胶囊网络的最新国内外进展,从模型架构、层间路由算法和应用领域等多角度对现有先进模型进行分类探讨。最后总结了胶囊网络目前潜在的应用领域及研究方向。2.研究了基于胶囊级密集连接深度胶囊网络模型——Dense Caps。胶囊网络对彩色RGB数据集的特征解析能力未能充分发挥,在图像分类任务中表现不佳。针对此问题,本文从胶囊级特征角度考虑,并受到密集卷积神经网络中特征级联、密集连接的启发,实现胶囊级特征级联,胶囊级密集连接,加强胶囊级特征重用,丰富空间特征信息,减少特征无效损失;提供丰富的反向传播梯度流,对浅层子网产生更好的优化;最后利用层次损失组合,融合各个密级胶囊块的特征损失,使浅层和深层特征得到充分反馈;并用胶囊级正则来构造稀疏性,避免模型过拟合。为证明模型的有效性,从消融实验、对比试验、参数量分析、显著性检验不同角度进行详细论证,实验结果表明,该模型架构在图像分类上具有可竞争性的性能表现。3.研究了具有嵌入式自注意力子网的胶囊网络构造生成对抗网络模型——SA-Caps GAN。卷积神经网络缺乏指示图像中特征空间位置关系的能力,仅通过丰富的特征描述实现图像生成目标中的判别任务。针对此问题,本文提出了将自注意力机制嵌入胶囊网络并作为生成对抗网络的判别器的融合模型,从增强判别能力的角度提升图像生成能力。该模型通过胶囊网络加强了对图像特征空间的解析能力,再利用自注意力机制突出显著区域特征表达,并提供长范围依赖,增强特征利用率,促进特征的有效向量化判别。为证明模型的有效性,从视觉图像质量、损失函数、Inception Score和Frechet Inception Distance评价指标进行详细分析。实验结果表明,该模型架构在图像生成任务中在收敛速度、生成图像清晰度等方面具有性能提升。该论文有图20幅,表8个,参考文献83篇。
其他文献
近年来,人工智能技术已经被成功地应用于各种生活场景中。强化学习是人工智能技术中的一个热门研究领域,已经在电子游戏、机器人和自动驾驶等领域获得了一定的成功。强化学习的思想是:智能体通过与环境不断地交互,从得到的环境反馈信息中调整、优化动作策略,从而解决序列决策的问题。深度强化学习将函数逼近与强化学习的思想相结合,可用于解决高维状态空间和动作空间任务。但是,当使用函数逼近技术时,由于函数近似误差的存在
学位
托辊是带式输送机中数量最多的独立部件,也是故障率和更换率最高的部件。为避免因托辊故障引发的重大事故及人身伤亡,需要对托辊的健康状态进行实时监测。然而,目前已有的智能化托辊监测方式普遍针对故障识别与诊断,缺少适用于托辊实时健康监测的监测方法。为此,本文提出了基于自供能无线传感器网络技术的托辊监测系统并开展了相关研究,主要研究内容包括:1)带式输送机托辊监测系统方案设计。依据带式输送机的工作特征与托辊
学位
固体氧化物燃料电池(Solid Oxide Fuel Cell,SOFC)是一种能够利用电化学反应将燃料中的化学能直接转化为电能的发电装置。其热管理问题是影响SOFC产业化的关键技术之一。目前SOFC热管理采用的主要方法为在阴极通入过量空气,以空气带走电池的产热。然而,这种方法的冷却效果有限,通入大量的空气还会使电池系统的额外功耗增大。因此,本文提出一种耦合氨气(NH3)分解吸热效应,通过平衡局部
学位
高熵合金作为一种新型合金,因为其优异的性能备受关注。为满足不同使用场景下的性能需求,对高熵合金的性能进行调控优化并制备性能优异的涂层逐渐成为研究热点。本课题采用激光熔覆技术,通过成分调控的方法,设计并成功制备了AlxCoCrFeNiMn(1-x)(x=0,0.2,0.4,0.6,0.8,1.0)双相高熵合金涂层,并在此研究基础上制备得到性能渐变的梯度涂层,以期实现涂层性能的提升。本研究采用FSEM
学位
现如今,我国经济转型进入重要阶段,金融业发展呈现显著的开放式特征,吸引更多的外资银行相继入驻中国市场展开战略合作。同时,利率市场化趋势明显,金融脱媒已成定局,在这些因素的综合影响下国内众多商业银行无法获取可观的利润增长。因此,许多企业陷入发展困境,无法自拔。想要解决这一问题,应该从企业转型出发,通过转型与改革实现长期可持续发展,这也是中国企业当前阶段的必经之路。我国小微企业在改革开放的春风下实现迅
学位
老空区积水下安全开采一直是矿井安全生产面临的技术难题,按照规程、规范规定采用探放措施之后,从导水裂隙带发育高度的角度出发,可以为此类条件下安全开采提供又一关键技术保障,本文以红会一矿南翼井田断层上盘老空区下的急倾斜煤层为研究对象,采用理论分析、数值模拟和现场实测等方法综合开展相关研究。对煤矿地质资料与物探报告进行了分析,得到断层上盘采空异常区富水程度为相对含水,断层为压扭断层,隔水性良好;根据煤岩
学位
安全高效的混凝土泵送技术是保障湿喷机喷射质量、效率和安全的根本,但在混凝土湿喷机泵送工作的过程中,很容易受到物料性能及其配比、布管方式影响而造成堵管等故障,这对湿喷混凝土生产作业的可靠性造成了危害,浪费了人力物力,严重影响施工效率,与此同时,湿喷机的管输特性也会影响混凝土的喷射质量。因此,本文对湿喷混凝土性能影响因素进行了研究,选取了最优配合比,并在此基础上,通过数值模拟的方式,对混凝土湿喷机水平
学位
在绿色低碳能源转型的时代背景下,以实现燃煤烟气超低排放和余热资源回收干化煤泥为目标,以喷淋塔作为研究对象,通过数值计算和理论分析对塔内烟气流动状态和气液两相传热传质过程进行了研究,为喷淋塔换热性能的提升和结构参数优化提供指导,后续为提高干化效能,对太阳能干化温室通风系统进行了数值优化。首先,根据给定参数建立喷淋塔数值计算模型,对模型塔网格划分和前处理设置,根据网格无关性验证确定计算网格数量。采用改
学位
仿生分形微通道热沉作为一种新型的微型散热器,是实现新时代微型电子元器件高效换热、促进节能减排、推动实现“碳中和”的重要途径之一,进而在传热传质学术界掀起了广泛的研究热潮。在对仿生分形微通道热沉的研究过程中,一些研究者们提出了系统性优化的三种方式,即尺寸优化、形状优化和拓扑优化,发现了分形微通道内易发生分形效应,导致压降提升、流动不均匀、换热不充分等问题。鉴于此,本文建立了基于三种优化手段的分形微通
学位
2021年,我国“十四五”将VOCs取代SO2成为大气污染物总量控制指标之一。光催化技术所具备的反应条件温和、氧化能力强、对环境友好等特点使其在低浓度VOCs降解方面具有很大的优势。与其他催化剂相比,TiO2光催化活性较好、成本低廉和稳定性优秀。但是TiO2光催化降解污染物存在一定局限性:一是TiO2只能被紫外光激发,对光的利用率较低;二是电子和空穴对容易复合,限制了光催化反应的效率。在课题组前期
学位