单图像超分辨率模型轻量化和推理加速算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:tingtngliok
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为图像超分辨率重建领域的研究重点,基于深度学习的单图像超分辨率网络在增强图像细节、恢复图像纹理和复杂结构等方面具有很高的应用价值,并取得远超传统方法的重建效果。由于增加网络深度可以有效提升图像重建质量,网络堆叠得越来越深,参数规模和计算复杂度大幅增加,时空开销巨大。本文研究课题的依托项目(详见附录A)需要针对大批量超大尺寸图像完成超分辨率重建。但是绝大多数基于深度学习的单图像超分辨率网络所消耗的显存空间极其巨大,甚至突破了大多数GPU的显存容量,只能在少量计算和存储能力较强的设备上进行部署应用;此外,这类网络完成超分辨率重建所需的时间太长,难以满足实际需求。因此针对模型的轻量化结构和推理加速的研究愈发重要。本文研究所着重解决的问题是:在保持良好的图像重建精度时,如何大幅减少超分辨率重建的时空开销。而技术难点在于:低分辨率图像与高分辨率图像的映射关系非常复杂,传统的基于深度学习的模型通过堆叠大量的卷积层来学习这种隐含的映射关系。粗暴地减少网络层数会严重损耗所学习的映射关系的拟合精度。因此,本文的核心设计思想是:构建一种高效的网络结构,在减少网络层数的同时,可以充分提取隐含的低分辨率图像到高分辨率图像的映射关系。具体的技术路线为:结合信息蒸馏机制和组卷积策略,设计组特征信息蒸馏网络,然后深入分析网络中张量显存复用和计算图融合的优化策略并设计GPU前向推理加速算法。本文的主要工作和创新点详述如下:1)分析了信息蒸馏算法的核心——渐进式精炼模块的缺点:第一,机械应用通道拆分操作使得蒸馏特征质量不足;第二,特征精炼支线的参数和计算存在冗余。针对这些缺点,本文提出改良的渐进式精炼模块。2)提出组特征信息蒸馏网络(GFIDN)。该网络既能享受组卷积的轻量化和跳跃连接的高效率的优点,也由于应用信息蒸馏机制而保持了较高的图像重建质量。相较于基线模型,本文所提出的GFIDN实现了最佳的执行时间、最佳的显存消耗以及几乎相当的度量指标,在重建质量和模型复杂度之间取得良好的均衡。3)设计GPU前向推理加速算法。基于GFIDN的网络结构,深入分析各层网络中张量显存复用和计算图融合的优化策略,然后结合TensorRT构造前向推理引擎,从而显著降低推理时间和显存开销。基于Muti-Process Service并发执行多个推理进程进行大批量超大尺寸图像的超分辨率重建,通过自适应裁剪模块匹配推理进程的最佳并行规模和最优平均推理时间。相较于传统模型,端到端的多进程并行推理系统最优吞吐率加速比可达41.32。
其他文献
鸡多病因支气管堵塞是由多种病因引起的鸡临床呼吸障碍综合征,临床症状以呼吸困难、支气管干酪样栓塞为主,常伴有气囊炎、心包炎、产蛋下降等,在雏鸡上,病情严重时还会引起大量的死亡,给我国养鸡业带来极大的经济损失。目前,对于鸡多病因支气管堵塞的防治,还没有特效的治疗药物。大量的应用抗生素也只能抑制细菌的继发感染,只能治标不能治本,并且还带来严重的公共卫生安全隐患。有研究表明部分具有清热解毒、凉血、利咽及祛
学位
光电化学(PEC)传感分析是一种基于光电化学原理,在光源存在下将被检测物的信息以电信号形式输出的分析方法。因为输入能量与输出信号的不同,具有背景信号低、灵敏度高、仪器简单、易于操作等诸多优点。光电活性材料作为PEC过程中光能与电能和化学能之间转化的媒介一直以来都受到大量关注。CdS作为一种具有合适带隙的半导体光电材料,与其他半导体材料复合一方面可以构建内建电场提高窄带隙材料的载流子分离效率,另一方
学位
金属有机骨架材料(MOF)是由金属离子/簇和有机配体构成的多孔材料,具有独特的孔隙空间,比表面积大,且可以通过功能化改变材料的表面性质等特点。离子液体(ILs)功能化MOF复合材料(MOF@ILs)兼具MOF和ILs的优点,使得复合材料具有更好的性能。本文制备MOF@ILs复合材料,用于食品添加剂的分离分析,研究内容包括:1.建立以吡啶基离子液体功能化金属有机骨架复合材料(MOF-5@[PrPy]
学位
邻苯二甲酸酯(PAE)俗称塑化剂,是一类常见的化学试剂,主要包括邻苯二甲酸二丁酯(DBP),邻苯二甲酸二辛酯(DOP),邻苯二甲酸二甲酯(DMP)等,常被用做制备塑料、化妆品、粘合剂、纺织品等的添加剂。塑化剂可以造成环境的污染,破坏动植物的内分泌稳定,增加肥胖、生殖畸形等疾病的风险。因此,非常有必要开发一种简单、快速、准确、有效检测邻苯二甲酸酯含量的方法。近年来,因分子印迹光电化学传感器具有方便廉
学位
烯丙基叠氮是一类独特的叠氮化合物,可以发生[3,3]重排形成一组由不同异构体组成的混合物,分别是叠氮位于末端的顺反式双键异构体和叠氮位于中间的末端烯烃三个异构体。利用三个异构体之间反应活性的差异,通过具有选择性的反应条件使其中一个异构体发生反应(叠氮或者烯烃),而其他异构体不参与反应或者反应速率很慢,因而不参与反应的异构体可以通过重排转化成能参与反应的异构体进行反应,实现烯丙基叠氮的完全转化,提高
学位
可见光诱导的钌催化反应是当前有机化学研究的热点,但其催化模式一般限于单电子转移和三重态能量转移途径。本论文我们通过单电子转移与固有过渡金属催化活性相结合,发展了一种可见光诱导的钌催化体系,在温和的条件下实现了羧酸及酰胺类衍生物的去饱和化反应及烯烃迁移反应。一、利用N-羟基邻苯二甲酰亚胺酯作为底物,在对伞花烃二氯化钌作为催化剂,24 W蓝光灯作为光源,乙酸钾作为碱,2-苯基吡啶或1-苯基吡唑作为配体
学位
各向异性乳液的液滴由多种油相组成,具有两个以上独立微区,具备化学组成、形状和性质的不对称性。两相反应由于不同的反应物分别溶解于不同的相区,使得反应发生十分困难。而两相反应广泛应用于工业生产当中,因此解决两相反应反应速率慢、产率低等问题将促进其在化工合成、酶催化等领域的应用。本论文将高分子表面活性剂、非离子表面活性剂以及阴离子表面活性剂复配结合,将各向异性乳液微反应器用于加成反应、酯化反应以及级联反
学位
人体前庭系统中半规管的主要功能是感知头部的角加速度,以维持身体平衡。半规管“嵴石症”是良性阵发性位置性眩晕(BPPV)的重要组成学说,其基本作用原理是游离耳石颗粒黏附在半规管壶腹嵴胶顶上,引起半规管信号感知错误并导致人体眩晕。由于半规管结构复杂、精细,且深埋于颞骨中,无法用现有的医学影像技术测量半规管内部的生物力学响应,验证“嵴石症”学说。本课题采用人工材料模拟人体半规管中的生物组织,按比例设计制
学位
多金属氧酸盐,又叫做多酸(英文写作polyoxometalates,POMs),是一类由过渡金属组成的金属-氧簇结构。由于多酸所具有的独特的结构特征,使得其具有十分广泛的物理化学性质,具有氧化还原的高度稳定性及可逆性,可以参与快速可逆的多电子转移反应且不改变自身基本结构,因其独特的电化学性质,被称作电子海绵。使用POM团簇作为催化剂,比一般的催化剂更具有优势,比如结构功能可控,电子电荷传导迅速,稳
学位
城市扩张和气候变化是影响大气热环境的两个最重要的因素,量化城市化进程所产生的影响和对全球气候强迫进行区域尺度的评估,可为城市发展规划提供基础数据以及为缓解气候变化提供决策依据。城市扩张主要体现在两个方面,即下垫面属性的改变和大量人为热的排放,它们可以通过调节地表和大气间的能量交换过程从而对城市生态环境和公众健康产生影响。同时,在全球持续增温的背景下,城市大气热环境对温室气体排放的响应也是一个热点问
学位