手势估计在诸多场景下都有着重要的应用,例如机器人操控抓取、虚拟现实和增强现实等。针对于空手条件下的手部检测和手势姿态估计方法已经达到了很高的精度,但是当手与被操作对象进行交互时,手部定位及手势估计效果并不令人满意。造成性能不佳的原因主要有物体遮挡因素的干扰以及人手姿态的多样性和不确定性。针对这些问题,本文提出了手物交互场景下基于深度学习的手部二维检测和手部三维关节点定位的方法,并在对应的数据集上取得了较好的结果,在实际场景下也有着一定的抗干扰能力。（1）本文设计了一个以单帧RGB彩色图像为输入,预测手部二维边界框的手部检测网络。网络采用了类似特征金字塔网络的架构,通过卷积池化层提取感受野大小不同的特征图来应对不同图片中手部区域的尺寸变化,再通过上采样层将不同大小的手部特征按相邻顺序依次合并,输出部分分为得分图和边界框坐标预测两部分,得分图是预测出一张图片中手部指尖和腕部区域的像素点,并对这些像素点都进行一次像素所在手部区域边界框顶点坐标的预测,最后将所有预测的边界框坐标根据像素点的预测得分进行加权融合。该网络的特点是针对手部的指尖和腕部区域进行重点预测,能一定程度避免掌心区域因抓握物体被遮挡导致检测失败的情况。（2）针对三维手势关节点坐标估计,为了减轻物体遮挡带来的影响,本文设计了一种RGB彩色图像和深度图像双模态输入的网络模型。彩色图像丰富的颜色纹理信息有助于区分手和物体,准确估计手部关节的平面2D坐标;深度图像可以提供单目彩色图像缺少的深度信息,二者的共同使用有利于提升关节点估计精度。研究发现,对于手部被物体严重遮挡的情况,彩色图像中的人手特征缺失较多会降低关节位置预测的准确度。因此,本文所提出的网络设计了一个遮挡程度估计模块,利用深度图像预测手部被遮挡的程度,得到权重掩模,对于重遮挡的情况降低彩色特征的比重,反之轻遮挡的情况则加大比重。为增强每个关节点的对应特征,本文网络在特征提取部分采用多尺度特征交叉融合机制,在后端关节点预测部分根据手部结构特点设计多分支网络结构,进一步提升了手势估计结果的精确度。