【摘 要】
：
人体在行走过程中被物体遮挡在监控视频中是一种很常见的现象,遮挡问题一直困扰着后续视频分析任务。为减轻遮挡所带来的影响,需要修复人体被遮挡的部位。现有方法在修复时没有考虑人体的语义信息,会出现使用背景信息修复人体部位的情况,导致修复的区域不清晰或颜色错误。本文提出了一种基于姿态的人体行走视频修复模型,从而显式地考虑人体信息。本文认为人体行走视频修复应先从人体姿态着手,即先修复视频中残缺的人体姿态序列
论文部分内容阅读
人体在行走过程中被物体遮挡在监控视频中是一种很常见的现象,遮挡问题一直困扰着后续视频分析任务。为减轻遮挡所带来的影响,需要修复人体被遮挡的部位。现有方法在修复时没有考虑人体的语义信息,会出现使用背景信息修复人体部位的情况,导致修复的区域不清晰或颜色错误。本文提出了一种基于姿态的人体行走视频修复模型,从而显式地考虑人体信息。本文认为人体行走视频修复应先从人体姿态着手,即先修复视频中残缺的人体姿态序列,然后以修复后的姿势序列为引导去修复视频帧中人体的缺失部分。具体地,本文方法包含以下部分:（1）从视频中提取被遮挡的人体姿态序列,并利用伪时空图卷积网络修复缺失人体姿态序列。本文采用Open Pose人体姿态估计方法逐帧提取人体姿态。虽然其对图像中存在的部分遮挡有较好的鲁棒性,但是由于存在遮挡情况,该方法存在对部分关节点识别不出、识别不准确的问题。针对上述问题,本文直接对姿态序列的整个时空图进行建模,提出了基于伪时空图卷积的方法来修复被遮挡的人体姿态序列。（2）利用Transformer模型结合姿态信息来修复被遮挡的人体行走视频。基于修复后的姿态序列,本文提出了一种新颖的基于姿态序列引导的Transformer人体行走视频修复方法,该方法首先将姿态信息转成骨骼热力图的形式,提取其特征并辅助计算自注意力得分。在Human3.6M数据集上进行了测试,相比目前最新的方法,本文提出的模型在PSNR,RMSE,SSIM,LPIPS四个指标上面均有提升,特别是RMSE指标提升了9.50%,LPIPS指标提升了21.67%。
其他文献
促卵泡激素（Follicle-stimulating hormone,FSH）是由腺垂体合成和分泌的促性腺激素,在动物繁殖方面发挥着关键的作用。因此,探索调控腺垂体FSH合成与分泌的潜在分子机制是非常有必要的。长链被编码RNA（long non-coding RNA,lncRNA）、微小RNA（micro RNA,miRNA）都是内源性非编码RNA,在调控代谢、疾病发生、生殖发育等方面有着不可或缺
随着互联网的快速发展,安全问题成为了亟需解决的重要问题,而异常检测在保证运行系统和网络的可靠性和安全性中扮演着重要角色。然而,现有的异常检测技术存在数据的异常标签难以获取和缺乏数据类型可扩展性等重要挑战。为了克服上述难题,本文提出了一个独立于数据类型的鲁棒的无监督异常检测框架RUAD。RUAD由一个用于提取数据潜在特征的自编码器网络,一个用于分离正常数据和异常数据的鲁棒层以及一个用于模拟正常数据分
奶牛泌乳能力和乳品质是评价奶牛经济价值的关键因素,但乳品质易受多种条件影响。课题组前期研究发现饲喂玉米秸秆饲料会导致荷斯坦奶牛乳腺组织内IFN-γ受体表达升高,IFN-γ含量升高,诱导奶牛乳腺上皮细胞（Bovine mammary epithelial cells,BMECs）精氨酸耗竭和自噬,从而降低乳品质、增加奶牛乳腺炎的发生。但是IFN-γ诱导精氨酸耗竭的机制知之甚少。前期转录组学数据提示线
目前的研究发现,表现良好的深度学习模型可以受到微小但精心设计的对抗性噪声扰动的攻击。在原始图像中添加精心设计的微小噪声扰动后的图像被称为对抗样本。不同的对抗样本生成方法可以用于评判现有模型架构的鲁棒性以及防御方法的防御性,从而发现现有模型架构的漏洞和缺陷,同时可以用于训练更加鲁棒性的深度学习模型。本文的研究场景是图像描述生成任务的无目标对抗样本攻击。现有的针对图像描述生成任务的对抗攻击方法相对较少
随着人工智能技术在生产生活场景下的广泛应用,许多场景下,人们不再仅满足于对图像中的目标进行分类或定位,迫切需要对图像信号做出更进一步的理解,语义分割任务应运而生。作为计算机视觉领域中一项基础且极具挑战性的任务,语义分割技术旨在为图像中的所有像素分配语义标签,进而达到对图像的像素级视觉理解,为诸如自动驾驶、医疗辅助诊断、照片编辑等众多需求场景奠定了坚实的技术基础。相较于传统技术,深度学习技术的快速发
类风湿性关节炎（Rheumatoid arthritis,RA）是一种人和动物常见的自身免疫性疾病,容易受到遗传和环境等因素的影响,主要表现为慢性关节滑膜炎,并出现不可逆的关节损伤,最终导致身体残障甚至危及生命。但目前没有治疗RA的特效药。已有研究表明,SIRT1是RA病程变化重要的决定因素,也是研究最深入的乙酰化酶（Sirtuins）家族成员,并且已经被证明与免疫学和内分泌学密切相关,然而其与R
左聚糖（Levan）是一种由左聚糖蔗糖酶合成的果糖聚合物,具有抗氧化、抗炎、抗癌、抗病毒、免疫调节和降血糖的作用,在食品和生物医药领域有广泛应用前景。但是目前我国左聚糖的大规模工业生产技术尚不成熟,阻碍了左聚糖在食品和生物医药等领域的应用。本论文的研究目的是通过基因工程技术高效表达重组左聚糖蔗糖酶,进而用重组左聚糖蔗糖酶实现左聚糖的无细胞酶法合成,并对酶法合成的左聚糖进行表征。为左聚糖的大规模工业
骨髓细胞形态学检查是诊断血液病、判断疗效及监测病情变化的重要手段,随着血液病的发病率不断上升,检验工作量日渐增多,传统的人工骨髓细胞形态学分析和识别的方式,已经越来越难以满足当前检验的需求。本文利用神经网络对骨髓细胞显微图像的分类方法进行研究。在骨髓细胞形态学相关知识研究的基础上,本文首先对骨髓细胞形态特征的提取,以及基于形态特征的分类方法进行研究。其中,先对骨髓细胞图像数据集进行预处理,然后利用
基于二氧化锰纳米片的玉米中伏马毒素B1免疫学检测方法的建立伏马毒素（Fumonisins）是由串珠镰刀菌（Fusarium moniliforme Sheld）、轮枝镰刀菌（Fusarium verticillioides）等镰刀菌产生的水溶性次级代谢产物,全球范围内的玉米、小麦、水稻等粮食作物均有受到其污染的可能。伏马毒素具有免疫毒性、神经毒性及器官毒性等多种毒性,是国际癌症研究机构（IARC）
脑卒中是严重危害人类健康的疾病,全球脑卒中发病率呈逐年上升趋势,也是我国致残率最高的疾病,给社会和经济带来沉重的负担。脑卒中的后期康复是目前临床亟需解决的重点及难点问题。神经系统结构及功能的恢复与神经细胞的再生及突触可塑性密切相关。研究发现,脑源性神经营养因子（BDNF）是神经可塑性和功能恢复的关键介质之一。然而BDNF在脑缺血再灌注损伤及神经元突触可塑性的研究中,所涉及的分子受体和细胞内信号通路