论文部分内容阅读
随着工业机器人在工业生产中的大量应用,其工作方向已从基本的机械加工和简单协助技术人员,演变成了基于人机交互作用完成不同环境下的复杂任务,机器人编程技术已成研究热点。论文以机器人演示编程为研究对象,针对传统演示方式编程部署时间长、人机交互能力差和使用门槛高等问题,以轨迹示教任务为例,研究基于手势识别轨迹生成方法改进及应用,结合工业机器人和视觉传感器,实现机器人与操作人员的自然交互、快速示教目的。在手势识别方面,首先分别针对演示编程技术与基于手势识别的人机交互技术进行了国内外研究调研,结合机器人的实际应用场景进行设备选择,建立整体组织框架;其次提出了基于肤色分割与CNN结合的手势识别方法,通过利用肤色模型提取手势相关信息,将手势图片输入RGB与YCbC混合肤色空间去除非肤色区域,再将分割得到图像进行腐蚀处理、扩张处理和高斯滤波以平滑噪音,以突出轮廓和边缘,最后进行二值化得到手势图像;利用Keras自建CNN模型进行特征提取并得到手势识别模型;在Marcel数据集上进行验证实验,并且针对开源手势样本,较少的情况,自行采集图像构建手势样本库进行训练与测试,通过实验验证该方法的可靠性,可用于进行人机交互。在目标跟踪方面,研究了基于3D信息的目标跟踪,将点云算法应用于机器人轨迹生成,采用颜色识别的方法分割出示教器上的颜色标记,并利用Euclidean算法完成目标点云聚类,最后采用RANSAC算法进行点云拟合,达到对目标颜色标记的跟踪,通过实验验证该方法对实际工作环境中的颜色标记跟踪稳定可靠,可以用于轨迹生成。以UR5机器人为研究对象,对其进行位置描述与姿态描述,以确定颜色标记在空间中的位置与姿态信息,通过齐次变换矩阵将相机坐标系下颜色标记的位姿转换到机器人坐标系中,基于目标跟踪方法引导机器人末端完成轨迹生成;最后基于ROS(Robot Operation System)完成机器人示教编程框架的建立,通过设计用于手势识别、用于读取UR机器人当前关节角度、用于处理接收到的手势消息以及在任务演示和执行之间切换阶段和用于向机器人控制器发送关节角度以移动机器人的四个主要节点,将前三章算法应用于该框架,完成基于手势识别的轨迹生成方法;利用QT完成人机交互界面的设计,采用该平台的信号与槽(signals and slots)机制完成开发,并以UR5机器人为对象进行了人机交互实验。