基于时空图特征表示的行为识别研究

来源 :常州大学 | 被引量 : 0次 | 上传用户:mengshenabc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类行为识别是计算机视觉领域的一个活跃的研究领域,包括公共安全监控、生物识别、人机交互、体感游戏和自动驾驶等领域。本文从人体运动特征表示和时空图卷积网络等方面对人体行为识别做深入研究。图卷积网络(Graph Convolutional Networks,GCN)在骨架视频动作识别方面取得了显著的性能。然而现有的基于GCN的方法大多是通过增加模型参数来提高性能。这些模型的训练需要大量的数据,所以它们通常在小样本学习任务中表现不佳。GCN在基于深度图数据的人体行为识别应用较少。图像矩可以描述图像块的大小、位置、方向、形状等几何特征,因此本文引入图像矩表示人体运动。在以上背景下,本文研究的主要内容包括以下两个方面:一、针对基于图卷积网络的模型在小样本数据集上的性能不佳的问题,设计了一种增强数据引导算法。首先,增强数据通过对骨骼数据进行坐标转换来获得缩放、旋转和平移的鲁棒性并扩充数据量。然后,利用增强数据训练教师模型。接着在空间和时间维度上分别选择关键关节和关键帧,结合成关键节点作为目标模型的输入。最后,将教师模型的输出特征作为目标的额外监督并结合样本原有标签指导目标模型学习。二、针对图卷积在深度图数据方面缺乏应用和人体自然结构对模型的适应适应不足的问题,设计了一种基于自适应质心时空图卷积的人体行为识别方法。首先,通过计算三级粒度的图像块的质心坐标来获得三个投影图的质心坐标集合。然后根据相邻粒度级节点之间的连接关系构造空间边缘,根据相邻帧之间的连接关系构造时间边缘。最后,自适应图卷积可以学习图的拓扑结构,从三个投影图融合质心图,补充时空图的空间边缘信息。此外,质心时空图是一种将图片转换到图的方法(Image-to-Graph),它与骨架时空图具有相同的结构,这意味着它们的融合具有更强的性能。本文还在后续的工作中添加了对应图像块的非零元素平均深度值作为节点的第三维坐标,将二维质心坐标转换为三维。
其他文献
任务型对话系统能够以人类语言与用户交流,在多轮交互中监控用户目标,最终完成用户所提供的任务。对话状态追踪是任务型对话系统中承上启下的关键模块,当前研究忽略了槽位与自然语言之间的关联,导致模型无法处理一些特殊的用户表达。此外,传统模型还采用了槽位门控机制并且将对话历史作为输入,这拖累了系统的响应速度,使用户无法获得良好的人机交互体验。针对传统模型忽略了槽位与自然语言之间的关联并且推理速度过慢的问题,
学位
智能手机迅速发展,功能丰富化应用多样化的同时,能耗也不断增加。但由于物理尺寸及电池技术的限制,导致其续航能力得不到提升。智能手机的应用程序离不开网络支持,研究表明,网络请求是造成智能手机耗能的重要原因之一。因此,大量研究者从网络传输方面降低能耗,将网络请求推迟进行合并转发是其中一种方法,但一定程度会影响用户体验。通过对不同使用场景设置不同的延迟时间可在牺牲少量用户体验的前提下降低更多能耗。本文采用
学位
随着农业现代化进程的推进,基于农业领域的知识服务体系成为农业信息化研究的热点问题。传统的信息获取方式以搜索引擎为主,搜索引擎返回大量网页链接,答案高度分散并且呈现多源异构的特点,无法迅速且准确地为农业相关工作者提供知识服务,用户体验感差。领域知识图谱的发展为特定领域内的知识问答提供了高质量的知识库基础。本文基于构建的农业知识图谱,对农业知识问答系统进行研究。主要研究内容如下:(1)构建农业领域知识
学位
行人重识别是在多个摄像头网络中检测特定的行人是否出现的技术。它在智能视频监控系统中扮演了重要角色,并且在公共安全领域有广泛的应用。由于目前摄像头产生的视频数量繁杂,虽然包含了丰富的行人信息,但是需要在数据标注上花费极大的代价。为了减少数据标注的成本,有效地利用视频数据,同时获得鲁棒的模型,本文主要研究基于单标注样本的视频行人重识别方法。针对单标注样本视频行人重识别中特征提取能力弱,伪标签分配错误率
学位
目的:探讨改良悬雍垂腭咽成形术(H-UPPP)在阻塞性睡眠呼吸暂停综合征(OSAS)患者中的应用有效性。方法:选取2020年1月~2021年12月佛山市中医院收治的88例OSAS患者,根据手术方法的不同分为研究组(应用H-UPPP治疗,44例)与对照组[应用低温等离子射频消融术(RFA)治疗,44例]。比较两组动脉血氧饱和度(SpO2)、呼吸暂停低通气指数(AHI)、治疗有效率、嗜睡情况及生存质量
期刊
随着人工智能的快速发展,深度学习技术已经在各个领域中得到广泛应用,包括目标检测、机器翻译、语音识别等。随着研究的深入,将文本、图像和语音等多领域信息进行融合和交互的多模态任务已经引起研究者们的广泛兴趣。其中,视觉问答是多模态学习任务的研究热点之一。视觉问答系统的主要目标是根据图像内容和对应的问题以回答出正确的答案,需解决的问题涉及计算机视觉和自然语言处理等领域。现阶段对于视觉问答的图像表示常采用深
学位
近年来,中国人口老龄化日趋严重,居家养老逐渐成为常态,独居老人日渐增多。跌倒作为居家老人受到意外伤害的主要方式之一,如若跌倒后得不到及时救助,轻则造成身心伤害,重则危及生命。因此,及时有效地检测居家老人的跌倒情况,具有较大的研究价值和社会意义,逐渐成为研究热点。随着居家监控设备的普及,计算机视觉方法跌倒检测已成为研究重点。论文主要工作如下:针对现有ViBe前景提取算法的鬼影问题,提出了一种融合帧间
学位
河流是人类的主要水源之一,对人类的生产生活有着重要意义。溶解氧是河流水质的主要组成部分,也是衡量水质的重要指标之一。利用历史水质数据,准确预测出河流未来一段时间内的溶解氧浓度,对环境政策制定,完善河流水质管理具有重要的现实意义。目前河流溶解氧预测模型的特征多为人工提取,缺乏特征组合全局搜索能力,针对这一问题,提出一种提升溶解氧预测精度的特征选择方法。首先,使用随机森林计算各项水质指标的特征重要性分
学位
几何直观能力对学生的数学学习具有重要意义,它是认识与理解数学的基础。实践证明,在概念教学、算理教学以及解题教学等环节中渗透数形结合思想,能有效地提高学生的几何直观能力,为学生核心素养的形成奠定基础。
期刊
<正>几何直观可以将复杂的数学问题变得简单易懂,有助于学生探索解决问题的思路和预测结果。简单来说,几何直观就是通过几何的手段将问题可视化,以便更好地分析问题。所以,几何直观既可以成为教师教学的一个重要工具,也可以成为辅助学生学习的有效工具。但是,在实际教学中可以发现,学生不喜欢利用几何直观去分析和解决问题,主要原因是教师并不重视这种解题方法,没有培养学生的应用意识,学生也不习惯使用这种方法。因此,
期刊