机械手模仿技术在抢险救灾、水下侦查、炸弹拆除等领域有着广泛且重要的应用。在常见的机械手模仿技术中,基于数据手套的机械手模仿技术操作者的操作受到妨碍,基于手势识别的机械手模仿技术只能完成预设的手势。基于关键点检测的方法克服了以上问题,操作简便,能完整复现手部运动。本文主要研究一种基于RGB图像的人手运动检测及机械手模拟方法,相比基于深度相机的方法,应用场景更广泛;相比当前基于RGB图像的方法,对遮挡、多关键点等场景有着更好的鲁棒性。全文共分三个部分进行研究,分别是:基于RGB图像的手部运动检测、基于关键点能量图的双目立体视觉、手指关节运动求解及机械手模拟。本文首先研究基于RGB图像的手部运动检测,该部分可以分为手部区域检测和手部关节检测。在手部区域检测中,本文通过分析选择肤色检测方法,对于肤色检测易受类肤色背景干扰的问题,引入运动信息消除干扰;在物体框生成中,本文提出一种基于质心的回归框迭代算法,相比轮廓检测法有着更好的鲁棒性和更快的运算速度。在手部关节检测中,本文通过实验选择合适的深度网络方法替代几何学方法,对遮挡、多关键点等场景有着更好的鲁棒性。然后,本文研究基于关键点能量图的双目立体视觉。由于关键点检测噪声的存在,经过畸变矫正和立体校正后的图像并不能直接求得关键点三维坐标,本文提出一种基于能量图的关键点修正算法,并通过实验验证了可行性。接着,本文研究手指关节运动求解及机械手模拟。人手拇指与其它四指的运动特性和自由度数量不同,需要对它们分别进行运动学建模,并给出各关节旋转量的求解公式。针对关键点检测坐标系与运动学建模坐标系不一致的问题,本文提出“指根坐标系”,并给出坐标转换方法。在人手运动学求解的基础上,本文针对常用的欠驱动机械手提出机械手模拟人手运动的方案,并用实验验证了可行性。最后,本文搭建了实验系统,对所提出的基于RGB图像的人手运动检测及机械手模拟进行了实验验证,测试了成功率和速度,并分析了实验结果。