人体姿态估计与驾驶员姿态追踪

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:fkswind
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
姿态识别是计算机科学和语言技术中的主题之一,目的是通过模型和算法解释人的姿势信息。人体姿势识别技术由于在个人保健、环境意识、人机交互和监视系统领域中的应用前景广阔,因此是计算机视觉领域中必不可少的一部分。同时,在航空航天领域,驾驶舱内驾驶员的操作和表现对整个航行都有着及其重要的意义,驾驶员状况的许多方面,都可能影响正确操作。因此,本文将围绕姿态估计问题展开详细介绍,并研究在失重环境中驾驶员的姿态追踪等应用问题。首先,本文提出了深度稀疏高斯过程的方法来解决人体的姿态估计问题。该方法解决了标准高斯过程的局限性,通过递推构造了多层的网络结构,并引入伪输入输出作为辅助变量,通过稀疏学习的方式降低运算复杂度,再将隐变量模型引入网络结构中,通过变分的方法在层与层之间推导,使得模型的泛化和学习能力相比之前都有了较大提升,更好的灵活性使其可以解决更多复杂的问题,并更好的应用于姿态估计的问题中。对于驾驶舱内驾驶员的姿态追踪问题,本文主要采用了深度学习的方法进行追踪,预研了四种不同的网络模型,分别为:Mask R-CNN、Deeper Cut、RMPE和Open Pose,深层分析了这些模型框架以及重要创新点,并将其应用于驾驶员姿态识别场景中,通过模型的结构和算法的特性分析和对比了不同方法的应用问题。同时,针对行驶过程中驾驶员检测的实时性要求,通过对Open Pose模型进行改进,提出了快速Open Pose模型,对原有的网络结构进行改进控制其结构中阶段数量,并且将其中7×7的卷积核进行了结构替换,在减小计算量的同时保持感受野范围,之后加入残差网络抑制由此导致的深层次网络中梯度消失的隐患,以及通过共享参数和更换特征提取网络的方式,降低了模型计算量,从而在保证模型检测性能的情况下极大地提升了检测效率,保障了对驾驶员姿态的实时监测需求。最后,使用不同模型对飞机舱内驾驶员的操作状态进行追踪。本文使用Mask R-CNN模型对驾驶员的手部(也是其重点操作部位)进行追踪,利用卷积运算同时实现对驾驶员手部的目标检测和实例分割任务,并对全过程进行了详细展示。此外,使用经过调整后的快速Open Pose模型对驾驶员的手臂状态进行追踪,通过预先数据的计算,从三维空间上监测其整个操作过程。由此,实现对飞机舱内驾驶员操作的全面追踪。
其他文献
移动设备的使用极为广泛,有多样化的设备且覆盖到生活与生产中的各个场景。在移动设备上通常运行着数?到数百个应用程序,这些应用程序简称App。许多App的使用依托用户端与服务器的通信完成功能。移动互联网的不断发展使得应用的网络通信持续增长,用户网络环境的复杂性和设备的多样性,以及App本身的工程复杂性,都会导致App在生产环境发生故障。随着App用户使用量的增大,故障发生也会非常频繁。软件开发者获取A
当前中国教育行业处于行业上升期。政策、资本、技术和重视教育的传统作为关键因素持续驱动教育市场稳定发展,并推动教育产业迈向新高度。随着计算机技术的高速发展,人工智能、大数据、AI等革命性新技术持续颠覆传统教育模式,引领教育走向智能化、数字化、立体化、扁平化,为打造未来个性化定制、家校、师三方联动,全方位沉浸式的教育新模式提供了可能。各教育集团为适应新的发展趋势,出于节约成本和创新的需求,对在线教育的
移动互联网飞速发展给人们生活带来的巨大改变不仅仅局限于电子商务等信息产业领域,随着云计算服务的成熟普及,使得建立在移动云服务上的面向传统领域的移动应用成为了可能。尽管各类基于位置服务(LBS)的电子地图应用在车速提醒上都有着各自的尝试,但大都属于基于传统技术的简单应用,也很少完全建立在各类交通限速规定和标准之上。在大数据技术不断发展的今天,云计算服务和大数据技术提供了将之应用于车速提醒的基础,这种
骨关节炎是一种常见的退行性骨关节疾病,主要是由于关节软骨退变引起的,常见于中老年人,好发于承重关节。作为人体最主要的承重关节之一,膝关节是骨关节炎发病率最高的关节。在膝骨关节炎的发生与发展过程中,生物力学因素的影响愈发重要,长期关节负载不平衡和下肢力线畸形都是导致膝骨关节炎发生与发展的主要因素。作为非手术治疗的一种手段,膝关节矫形支具通过矫正下肢力线,减轻膝关节不平衡负荷,减轻关节面摩擦,已成为缓
语义分割是计算机视觉领域的基础任务,能够解析场景的内容。本论文对道路场景视觉语义分割的关键技术进行研究,包括两部分内容:利用场景的深度信息提升语义分割精度以及对语义分割模型的加速。现有的道路场景语义分割方法主要使用场景的表观颜色信息进行逐像素分类,容易出现由类内不一致性与类间相似性导致的误分类情况,使得精度受到影响。本文提出使用场景的深度信息来缓解误分类的发生,并分别把深度作为先验信息或监督信息引
我国是世界水产大国,将转基因等现代生物技术引入传统的水产养殖中,已成为必然的发展趋势。现代生物技术,在观赏水族业中,更具应用前景。随着组织特异性启动子研究的深入,用荧光基因构建重组子,并转入鱼受精卵中,获得在不同部位发荧光的转基因观赏鱼技术已经得到初步应用。稀有鮈鲫(Gobiocypris rarus)是我国特有的一种小型鲤科鱼类,并已作为一种新型的模式实验鱼应用于鱼类遗传学、鱼病学、环境科学以及
随着电子商务、社交和移动技术的火热发展,产生了一种基于移动互联网的空间,借助于社交软件为工具,以人为中心,社交为纽带,有别于传统电子商务的新商业——社交电商。而社交电商平台是用于发布和规范社交电商商品的平台。由于社交电商商品来自成千上万的移动端注册个人商家且商家入驻门槛较低,商品质量参差不齐,所以需要保证平台优先推广的是货真价实的商品,社交电商平台引入信任商品推荐系统引导用户购买或分享高信任度商品
组件化的航电软件系统是一个在开放架构约束下由相互关联的多个软件组件构成的大规模复杂软件系统。在这种航电软件系统中,航电软件传输服务是指对多种工业标准的传输协议(如Socket、DDS等)进行封装,以标准化的接口支持航电软件组件间进行数据传输和互操作。可移植和可扩展是航电软件传输服务的关键因素。美国军方主导并由Open Group国际组织提出的未来机载能力环境(FACE)技术标准提供了一种航电软件系
钢铁制造各工序技术水平的发展关系到我国工业现代化和制造智能化的进程。在传统的炼钢作业测温取样工艺中,需要人工周期性对测温枪套接取样器,并且回收测温完成后燃烧的取样器送检。由于该工艺危险系数较高,急需构建面向测温取样工艺的机器人自动化作业系统代替人工作业。本文主要围绕炼钢作业中的测温取样任务,通过搭建视觉系统,研究复杂环境光下如何对取样器端面退化图像进行增强处理,继而通过基于线段和弧线段检测器的特征
植物表型参数是作物品种选育中判断品种优劣的重要依据。然而现有的植株表型测量方法大多依靠人工完成,费时费力同时测量误差大,而基于图像的表型测量往往造成信息丢失。植株三维模型是植株表型高精度自动化测量的重要手段,是模拟作物生长过程的重要基础,同时三维重建几乎不丢失植株的三维形貌信息。植株形态复杂多变,柔性易变形的特点使得植株三维重建和拼接较为困难。植株叶片、果实、茎秆等器官相互交错遮挡使点云数据配准和