【摘 要】
：
在AR/VR、计算机视觉等应用场景中,深度信息是系统运行的基本需求。结合RGB图像信息与深度信息的算法能够充分利用场景与目标的表面视觉纹理和三维几何信息,提供对场景与目标更真实的表达。因此,高质量深度信息的感知是许多AR/VR应用、视觉算法能够有效运行的基础。本文以深度感知算法为主要研究对象,提出了时域关联的单目视频深度估计网络,并将该深度估计网络应用于人脸姿态估计中,设计了结合深度估计的人脸姿态
论文部分内容阅读
在AR/VR、计算机视觉等应用场景中,深度信息是系统运行的基本需求。结合RGB图像信息与深度信息的算法能够充分利用场景与目标的表面视觉纹理和三维几何信息,提供对场景与目标更真实的表达。因此,高质量深度信息的感知是许多AR/VR应用、视觉算法能够有效运行的基础。本文以深度感知算法为主要研究对象,提出了时域关联的单目视频深度估计网络,并将该深度估计网络应用于人脸姿态估计中,设计了结合深度估计的人脸姿态估计算法。具体研究内容如下:（1）针对一些应用,例如AR/VR应用对深度信息的精度、时域一致性要求高的需求,本文提出了基于相机姿态时域关联的单目视频深度估计网络。为提高深度估计的精度与时域一致性,在姿态估计支路中利用CLSTM（Convolutional Long Short Term Memory）模块进行时域关联,实现特征的时空域联合;将关联后的相机运动信息与深度估计编码器特征融合以提升深度图的精度与时域一致性。本文在领域公认的评估数据集上进行了评估实验,验证了所提方法的有效性。（2）本文进一步提出了双时域关联的单目视频深度估计网络。网络通过CLSTM模块同时在姿态估计支路与深度估计支路引入双时域关联来提高深度估计的性能;通过注意力模块融合运动信息,进而对深度估计网络中的编码器的特征表达进行了增强处理,保证深度图恢复过程中同时关注全局与局部运动。在领域公认的数据集上进行了评估实验,验证该网络达到了当时的SOTA（State Of The Art）水平,可以作为下游应用的基础。（3）本文将上述双时域关联的深度估计网络应用于人脸姿态估计中,提出了结合深度估计的人脸姿态估计算法。该算法首先利用深度估计网络构建人脸RGB-D（RGB+深度）多模数据,然后利用三维人脸关键点实现粗配准并利用改进ICP（Iterative Closest Point）算法对人脸点云进行精配准,从而提高了人脸姿态估计的精度。在公开人脸数据集上的评估实验证明,该算法实现了平均误差小于1°的人脸姿态估计,满足某些应用场景,例如AR/VR应用对高精度人脸姿态的需求。此外,该评估实验也间接证明了深度估计网络的有效性。
其他文献
为了探究细菌混合协同降解阴离子型聚丙烯酰胺（HPAM）机理，作者以球红假单胞菌和枯草芽孢杆菌等体积混合构成混合菌，研究了单个菌株和混合菌的生长情况及降解特性。同时采用分子对接模拟了红球菌N-771酰胺酶（Rh Amidase）和枯草芽孢杆菌漆酶（Lac）与HPAM结构模型的结合。试验结果表明，枯草芽孢杆菌含有内生孢子，其适应环境的能力比球红假单胞菌强，而且2种菌株都含有鞭毛，运动剧烈。在温度35℃
目的 分析2017―2020年深圳市居民的主要伤害死亡特征及减寿情况，为制定伤害预防控制策略和措施提供科学依据。方法 使用构成比、死亡率、标化死亡率、潜在减寿年数（potential years of life lost, PYLL）、减寿率（potential years of life lost rate, PYLLR）、平均减寿年数（average years of life lost, A
在"双减"的背景下,英语的学习也会因此而受到影响。"双减"政策的推行,降低了小学生英语作业的完成时间,减少了家庭作业。因此,在英语教学中,如何有效地促进学生的学习,是非常有意义的。教师应把作业与课堂教学相结合,以提高学生的学业水平。教师在课堂上对知识进行了全面的解释,而不再给学生施加压力,使他们无法在课堂上解答。本文从英语作业的编排出发,对"双减"大环境下英语课堂教学策略的运用进行了探讨。
城市建设和城市发展离不开土地资源，权衡城市发展水平的重要的指标中，土地利用变化与生态环境变化指标尤为重要。对2016年和2021年两年的Landsat8的影像数据资料图像和2006年—2021年间的DEM影像进行分析。对深圳市的土地利用与生态环境变化进行了分析研究，并探讨了使其变化的驱动因素。结果表明，2006年—2021年期间，建设用地占比较大且显著增加，耕地、林地、水体所占比例逐年减少，未利用
木质素阻碍反刍动物对粗饲料的降解利用,实验室前期研究发现水牛瘤胃微生物具有降解利用木质素的能力,且分离的木质素降解细菌含有漆酶（木质素降解酶）的编码基因。为探索水牛瘤胃微生物降解木质素的潜力以及克隆表达的水牛瘤胃细菌源漆酶的酶学性质,本研究首先采集3头成年瘘管水牛的瘤胃内容物,通过宏基因组测序探索水牛瘤胃降解木质素相关的微生物、酶和通路;并利用实验室前期分离的2株水牛瘤胃源木质素降解细菌假中间苍白
针对云南开远井水温2020年3月开始出现的高频波动异常，排查了观测环境、供电电源等可能的影响因素，开展不同层位水温对比观测实验，并根据井孔结构及观测含水层特征，探讨了引起不同层位井水温波动异常的物理机制。结果表明：观测环境及供电系统不是引起水温变化的因素，主要是由于井孔储水裂隙受到岩体变形而发生闭合与开启，造成了进入井孔内高温水的减少与增加，从而引起井水温下降与快速上升，这可能是区域构造活动增强引
中国目前正在加快构建以国内大循环为主体、国内国际双循环相互促进的新发展格局，发展动能已由投资拉动、出口带动转变为消费驱动。中部地区崛起是国家重大发展战略，且中部地区人口规模和经济总量庞大，消费市场、内需潜力巨大。通过对中部地区消费现状进行分析，得出当前中部地区消费总量差距较大，消费结构逐渐优化，新冠肺炎疫情对居民消费结构影响较大等特征。从消费结构角度入手，选取2014—2020年全国和中部六省相关
青川断裂是龙门山断裂带北段的分支断裂之一，与北川—映秀断裂左阶排列。早期研究认为青川断裂的地震活动性不强，然而2008年汶川地震的最大余震（青川6.4级）就发生在这里，2013年芦山7.0级地震后该断裂也多次发生4.0级以上地震，青川断裂地震活动性引起关注。以青川断裂为研究对象，综合地质学和地震学信息分析青川断裂及邻区的现今活动性。根据地质调查显示，青川断裂具有走滑断裂的地貌特征，运动性质以走滑为
目前，自动化技术已广泛用于水电生产中，在提高水电站运行效率、改善电能质量方面发挥着巨大作用。本文简略叙述了水电站自动控制系统概念及控制方式，系统地分析了自动控制系统在中小型水电站中的应用。
导游词的翻译是涉外旅游中至关重要的一部分，黄忠廉教授提出的变译理论对于导游词的翻译具有较大的指导意义。文章基于变译理论对北京故宫景点介绍的导游词译文进行分析，探讨译者为实现旅游文化输出所采取的变通方式，并总结出增译、缩减、编译、译述和并改五种翻译策略，以期为导游词的翻译研究提供新的理论视角，提高导游词翻译的质量，从而促进旅游文化的对外传播。