手部姿态估计是近年来的一个研究热点,在现实生活中应用广泛,除了在泛文化娱乐中给人带来便利和欢乐以外,它也能够在机器人领域为灵巧手带来操作经验。本文以此为切入点,从现实应用中的精确性,实时性以及鲁棒性考虑,对手部姿态估计及其在灵巧手控制方面的应用展开研究,主要分为以下三个部分:(1)本文聚焦于利用神经网络从单张深度图像中获取人手的3D关节坐标。为了能够从深度图像中提取到更多的特征,受多任务信息共享机制的启发,本文设计一种新颖的手部姿态估计回归网络CrossInfonet。它将手部姿态估计任务分解成手掌和手指两个回归子任务,并且使用一个两分支的交叉连接结构在两个子任务之间相互分享有益的补充信息。同时,本文设计了一个基于热图监督的特征提取结构,在没有损失网络端到端训练的前提下,可以帮助网络提取到更好的全局特征,从而改善最终的预测结果。本文进行了丰富的自比较实验来验证所提方法的有效性,同时在四个公共的手部姿态数据集上和其他方法进行比较,获得了有竞争力的结果。最后,本文也将训练好的模型应用在实际场景的手部姿态估计中,实验结果证明,本文所提的网络还具有实时性和鲁棒性。(2)基于手部姿态估计研究取得的成果,本文对人手动作向机械手的迁移展开了研究。本文使用了一种新的姿态映射方法,将每根手指的多个信息考虑在内,通过运动规划的方法来优化所求的关节角度。考虑到人手和机械手处在不同的域空间,本文提出以关节坐标为过渡进行角度回归,并通过实验对其进行了验证。实验结果证明关节坐标确实可以提高网络在不同域之间的转换效率。(3)基于上述两个研究成果,本文设计了两个应用场景。由简入繁,分别是单手情况下的遥操作系统和手-臂联动情况下人手指导机械手的抓取场景。对于第一个应用场景,本文利用仿真的机械手进了测试,证明了本文所提的迁移方法可以很好地应用于实际场景中。对于第二个应用场景,本文则是对其方案实现的可行性进行了分析,期望可以在未来的工作中得以实现。