图像中人体骨架提取相关技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:kk77763
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于图像的人体骨架提取是对人体姿态估计的基础,过程主要分两部分:首先根据图像中的人体纹理颜色及轮廓等信息来提取人体各个关节点,然后对关节点进行链接构成人体骨架。照明环境、衣着姿态等因素的不确定性都会导致最后的预测精度下降,因此目前大多数方法使用多尺度多感受野的图像表征来进行网络训练,以提高网络对关节点的检测精度。但是在丰富有效信息表征的同时,与目标任务无关的信息也相应增多,成为提高网络性能的瓶颈。同时,简单的特征融合方式未能充分考虑不同尺度特征之间的全局关联,无法对丰富的特征进行有效的融合。针对以上问题,本文利用注意力机制具有能够捕获全局依赖且能关注图像重点区域的特点,将多尺度特征和注意力机制相结合应用于人体骨架提取,开展了以下研究工作:1.剖析了级联金字塔(CPN)的网络结构,研究了注意力机制的原理和思想,提出了一种改进的基于注意力机制的多尺度金字塔网络(AMSPN)。在分析网络深度与有效感受野之间关系的基础上,AMSPN新增了尺度分支,进一步丰富了多尺度信息。设计了层次注意力特征增强模块(HAFEM),基于层次注意力对与任务有关信息进行增强,而对无关信息进行抑制,突破了CPN的性能瓶颈。2.为了更有效的利用不同尺度的信息,设计了多尺度均衡模块(MSB)对不同尺度的特征进行进行均衡,多尺度均衡模块能随着网络的训练动态的更新对不同尺度特征的注意力分配,从而使得对于特定关节点检测,能更有效的利用不同尺度的特征。将多尺度均衡与难点挖掘机制相结合,进一步提升对多尺度信息的利用率和难检测关节点提取的精度。3.针对现有特征融合方法未能充分考虑不同尺度特征之间的全局关联的问题,引入自注意力思想,提出了基于区域相似性的多尺度特征融合方法(RSMFF)。卷积神经网络本身感受野受限,而自注意力机制能够轻松捕获全局依赖。RSMFF结合自注意力机制,利用全局区域之间的相似性进行多尺度特征融合,使得融合后的特征具有更丰富的图像信息表达能力,能够更有效的协助网络进行骨架提取。通过在MPII和COCO数据集上进行消融实验和对比分析,验证了以上方法的有效性。
其他文献
法律应适合侦控犯罪的实际水平和现实需要。侦查自由度与其程序规制性之间是有冲突的.这就需要建立适合于侦控规律的法制体系,研究合法用谋的原则技巧,在谋略性与法律性之间架起
As we all know,happiness is important and necessary. Many things can make us happy.For example, when we meet our close friends,or when we’ll go hiking and have
期刊
本文以上市公司股价同步性的信息效率观点为基础,分别探讨了分析师整体关注、明星分析师关注、非明星分析师关注以及微博信息质量水平对股价同步性的作用,通过实证研究发现分析师群体中,明星分析师对股价同步性具有显著的降低作用并且该结果通过了所有的稳健性检验,据此推论明星分析师的确俱备分析、传递公司特有信息以及促进资本市场效率的作用,分析师整体以及非明星分析师对股价同步性的降低作用只能通过部分的稳健性检验。微
完善未成年人刑事司法制度必须明确未成年人刑事司法制度与普通刑事司法制度的共同点和差异点,变司法"超越"立法为通过立法引导和规范未成年人刑事司法工作,力求使未成年人刑
道路交通事故是目前越来越引起公众关注的社会问题,而建立信息化、规范化、科学化和简约化的交通违法行为处理方式是建立现代化交通管理模式的时代要求。以机动车驾驶人持金融
蒸发冷却空调系统由于其经济、环保、提供高品质室内空气的显著特性而应用日渐广泛,利用能耗分析软件对其运行能耗进行分析的研究者也越来越多。针对目前国内外比较流行的建筑
应用抗菌防霉过滤器、正负电离器、O3TVOC催化器、复合过滤器等多元消毒净化技术设计融为一体,对室内空气消毒、净化进行试验,结果表明,开机作用30 min,对白色葡萄球菌的杀灭
在侦查讯问的最初阶段,犯罪嫌疑人实际上处于“迫移”状态:即必须在信息不完全的情况下从坦白、沉默和说谎三者之间做出决策。犯罪嫌疑人因此面临着首动困境,只要他先行决策,不论