随着科学技术的发展,人机交互的方式日益多样化。其中,基于手势识别技术的交互方式因其自然、便捷的特性已成为目前人机交互领域的研究热点。然而,基于视觉的手势识别技术在实际应用中存在手型变化大、背景复杂等影响识别精度的问题。因此,对手势识别技术的进一步研究具有重要的现实意义。本文设计并实现了基于视觉的轮式倒立摆机器人手势识别系统,通过自定义的动态手势来控制轮式倒立摆机器人的运动状态。首先,为获取手部目标,基于目标检测算法进行手部检测。针对低光照环境中手势定位不准确的问题,采用自适应直方图均衡化对手势图像进行预处理,提高手部图像对比度。通过目标检测网络对手部进行定位与识别,得到手型类别。同时,保存手部中心点坐标,形成手部轨迹序列。其次,结合手部轨迹序列数据的特点,设计手部轨迹拟合网络。通过对手部轨迹序列进行均匀采样,在一定程度上抑制了手势长度不固定对轨迹拟合的干扰。通过对绝对值形式的手部轨迹序列进行增量化处理,提高了轨迹拟合的精度。融合手型识别结果和轨迹拟合结果实现对自定义的14种动态手势的识别。最后,针对轮式倒立摆机器人采集手势过程中存在抖动的问题,采用特征点匹配技术对手势视频去抖动,从而实现了对轮式倒立摆机器人的手势控制。通过在复杂背景环境下进行手势指令的综合测试,证明轮式倒立摆机器人手势识别系统满足设计要求,且具有通用性,能够应用于实际工程中。