基于细粒度空间约束的人-物交互检测技术研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:wuheman
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于图像的人与物体交互活动检测是计算机视觉中一项重要且具有挑战性的任务,其最大的难点在于人-物交互活动多且复杂、许多交互活动的图像特征十分相似。研究分析发现,人和物体细粒度的空间关系,可以为人-物交互活动预测提供十分有用的推理信息。然而,现有的方法大多采用外观特征和较粗粒度的空间关系,没有探究人和物体的细粒度空间分布规律,导致人与物体的交互活动检测十分不理想,很难区分相似的交互活动,难以实现高效、鲁棒的人-物交互检测。因此,本文提出基于细粒度空间约束的自注意力深度网络框架,实现相似人-物交互活动的区分,提高人-物交互活动检测的准确度。本文提出的人-物交互检测框架包括两个部分。第一部分,提出跨域的物体关键点定义方案,设计了一个跨域的人-物关键点检测方法,实现对于人、动物类和非动物类的部位定位和识别,为后续的人与物体的交互活动检测提供细粒度的关键点空间分布信息。第二部分,本文提出一种基于自注意力机制的深度网络,利用已获取的细粒度的关键点空间分布信息,自动挖掘人体各部位与物体各部位之间的细粒度视觉结构知识,实现自注意力深度网络智能的、有选择性的聚合人和物体各个部位间的交互语义信息,实现了从人和物体各个部位间空间关系到人与物体交互活动的语义鸿沟跨越,提高人-物交互活动预测的准确性。通过在多个标准数据集上进行大量的定性、定量和消融实验,并取得较好的结果,验证了:(1)本文提出的方法能更准确地检测到各类物体的关键点,实现了更好的泛化能力,并为人-物交互检测提供了有效的部位级空间信息;(2)本文提出的自注意力深度网络模型能学习到人-物交互活动细粒度的空间分布规律,挖掘细粒度视觉结构知识,从中获取丰富的交互语义信息,最终实现优于现有方法的人-物交互检测。
其他文献
黄曲霉(Aspergillus flavus)是一种分布十分广泛的病原真菌,能够侵袭花生、玉米等许多经济作物,在一定条件下产生黄曲霉毒素等高毒性次级代谢产物,造成极其严重的食品安全问题和巨大的经济损失。同时黄曲霉是诱发曲霉病的第二大病因,给人类的健康也造成了极大的威胁。因此,关于黄曲霉侵染的防治研究具有重要的现实意义。真菌细胞壁是防治曲霉病的重要靶标。细胞壁合成途径中的关键酶对于细胞壁完整性的维持
学位
铅基卤化物钙钛矿具有发光光谱在可见区域可调和高的光致发光量子效率(PLQY),高的载流子迁移率等光电性能以及制备成本低,制备方法简单等特点,成为了光电、光伏领域中最具潜力的半导体材料。然而,卤化铅钙钛矿稳定性差以及重金属铅的毒性阻碍了其进一步的应用。为此,无铅钙钛矿逐渐受到了人们的关注。其中,铟基卤化物钙钛矿Cs2In X5·H2O在引入Sb3+掺杂后,表现出较好的稳定性及较强的自陷激子发射(ST
学位
金属材料中,位错发射行为在空洞生长和裂纹扩展过程中起着重要作用,一直是材料断裂研究的关注热点。虽然已经有许多工作在原子尺度上研究了裂纹扩展和裂纹发射位错的机理,但是在原子层次上揭示外加应力应变作用下裂纹发射楔形空隙的机理仍十分缺乏。最新提出的晶体相场模型能够在扩散时间尺度和原子空间分辨尺度上揭示材料微结构的动力学演化行为,它已在晶界预熔、晶界位错运动、晶体外延生长等方面取得了显著的研究成果,但是用
学位
异育银鲫(Carassius auratus gibelio)是我国重点养殖品种,具有较高的经济效益。然而,鲤疱疹病毒Ⅱ型(Cy HV-2)引起的“鳃出血”症的爆发给我国鲫养殖业带来巨大损失。mi RNA作为一种微型RNA片段(长度大约为22-25 nt),其功能多样,广泛参与组织分化、病毒防御、细胞增殖和凋亡、组织病变和代谢等。研究发现,在Cy HV-2感染宿主过程中,大量micro RNA参与
学位
近年来,铜离子在取代毒性铅离子以制备高效无铅卤化物方面引起了人们的广泛关注。其中,全无机无毒的铜(I)三元卤化物具有较高的环境稳定性和优良的光学性能,已经成为制备高效、高稳定性光电器件的潜在候选材料。本论文采用室温液相合成、表面功能化、柔性聚合物封装等简单策略,提高了铜(I)三元卤化物的荧光效率并开发出丰富的柔性器件,以拓宽其在全彩显示、固态照明、柔性可穿戴电子产品、能源收集、数据存储中的应用。研
学位
太阳能在建筑中的应用通常包含三个方面:首先,应用最广泛的就是太阳能热利用,例如太阳能热水器;其次,太阳能光伏利用在近几年的发展也是很迅猛,如屋顶的光伏发电;再有,就是通过采集太阳光进行照明。目前,建筑中利用太阳能导光进行照明的主要方式有光导管导光和光纤导光。由光导管组成的导光照明系统光路引导不灵活,并且长距离引导时对室内空间造成较大占用,对室内空间整体性造成破坏。而传统的利用光纤导光来照明的系统,
学位
分枝杆菌是一大类细胞壁中富含脂质的革兰氏阳性细菌,其中最为知名的是引起人类结核病的结核分枝杆菌与其模式菌株耻垢分枝杆菌等。细菌生物被膜是由胞外基质如脂质、多糖、DNA和蛋白质等包裹的细菌群体,它的形成对病原细菌的抗逆性和致病性等具有重要的影响。分枝杆菌生物被膜的形成与其细胞壁脂质成分密切相关。然而,目前关于分枝杆菌细胞壁脂质代谢影响细菌生物被膜形成的调控机理还很不清楚,相关的调控因子还知之甚少。本
学位
紫外光电探测器被广泛应用于火灾预警、环境监测等众多领域。常规紫外光电探测器需外部电源提供电力才可工作,近年来发展的自驱动器件无需外部供能便能工作,是构建低能耗和环境友好型光电系统和物联网的理想选择,成为当前的研究热点。然而,高性能的自驱动紫外光探测器仍然缺乏。本文通过理论和实验研究半导体/电介质界面的电荷转移性质,发展了一种电介质界面内建静电场和传统半导体结型器件耦合的高性能新型自驱动紫外光电探测
学位
TNFSF15/TL1A是肿瘤坏死因子超家族的重要成员,参与机体炎症反应和免疫防御。硬骨鱼中有关TNFSF15/TL1A的研究极为有限,其功能尚不明确。2007年,Wines等人克隆了斑马鱼TNFSF15/TL1A基因并进行了序列分析,最近,Lim等人(2021年)在石鲷中克隆了TNFSF15/TL1A基因,但这些研究未对TNFSF15/TL1A的表达调控和功能展开深入研究。本研究在获得CiTNF
学位
现有被广泛使用的资产管理系统有几种代表性方案:传统的基于纸质文字资产标签的资产管理系统与采用了条形码或二维码的改进型纸质资产标签的系统,还有基于无源射频识别(RFID)标签的数字化资产管理系统。这些方案在当前时代背景下用于管理种类繁杂数量众多形态各异的资产时都在自动化及智能化方面存在深刻的不足——它们都无法感知标签的状态因而无法及时应对标签的异常且信息更新很大程度上依赖人工操作导致系统中存储的信息
学位