机器人技术正处在发展的关键时期,可预见机器人将全面占据生活的各个领域并发挥积极作用。但是,我们需要清楚的认知到,就目前的发展现状来看,机器人受控制技术、传感器以及人工智能等领域发展水平的制约,所以短期内要研制出能够在复杂时变环境下完全自主的机器人还有很长的路要走。机器人在执行复杂的控制任务时,加入人的控制行为,即在控制任务中融入人的高级决策,能够规避目前机器人控制中尚存的技术难点。从人的视角而言,机器人的工作内容以适时的满足人的使用需求为主,人与机器人能够协同完成特定任务,减轻人的工作强度,改善人的工作条件。本文构建视觉引导的人机协作控制系统,意在实现人机共享协作控制。研究将视觉引导与视觉伺服结合起来,在多种工作条件下具有更为普遍的适用性。视觉伺服在局部范围内具有良好的鲁棒性,但在现有的视觉伺服控制相关研究中,机器人处在时变的复杂环境下,尚存伺服控制中难以实现避障等问题。为了解决此类问题,将人的高级决策融入到控制系统中,构建人机协作控制系统,依靠人进行视觉引导辅助机械臂实现避障运动。机械臂末端经视觉引导运动至目标物体附近区域,利用图像视觉伺服控制在目标物体附近区域的良好收敛特性,实现针对目标物体指定特征信息的精确伺服定位,从而完成人机协作控制任务。研究分为机械臂视觉引导控制及图像视觉伺服控制两个部分。本文构建人机协作控制系统完成以下工作内容:1.手部视觉引导(1)多视觉传感器布置方式。针对视觉引导提出多个视觉传感器空间布局方式。依据Kinect数据自身特征应用神经网络实现多传感器数据融合。(2)提出两种空间关系确定方法。一是基于平台识别的空间关系确定方法,对于相机空间到机械臂工作空间的转换关系,取代以往的标定实验,采用工作平面识别及重构的方式,确定视觉传感器与机械臂工作空间的映射关系。二是基于点云模板匹配的空间关系确定方法,通过预先对三维几何模型采样建立机械臂单一视角点云模板库,与现场采集到的点云进行匹配识别,确定空间映射关系。(3)视觉引导控制。以手部骨骼点空间位置变动作为机械臂末端位置控制信息,采用卡尔曼滤波跟踪降噪及非均匀B样条曲线进行轨迹平滑处理。以手部点云信息作为机械臂末端姿态控制信息,对其进行分割及降噪处理。此外,构建视觉引导仿真平台,进行了以手部控制信息作为输入的视觉引导仿真实验。2.图像视觉伺服(1)视觉伺服模型构建。手眼关系及相机固有参数的确定。基于图像识别的目标物体特征识别及定位。提出提高视觉伺服控制效率的解决方案,即通过自适应增益策略实现视觉伺服高效控制。对控制律进行调整,实现对机械臂速度的连续控制。(2)视觉引导——视觉伺服控制任务切换。构建了基于模板匹配的视觉引导——视觉伺服智能平稳过渡策略。视觉伺服控制仿真实验验证及仿真结果分析。研究建立了视觉引导——视觉伺服人机协作控制系统,设计了从视觉引导过渡到视觉伺服的控制策略,实现智能平稳过渡。控制中操作人员操作方便灵活,控制系统工作平稳可靠,鲁棒性强。