近些年来,随着科技的迅猛发展,越来越多的机器人开始代替人工从事标准规范化和特殊环境下的工作。由于应用场景的复杂程度增加,将视觉与机器人结合,使其能够有效在复杂工作环境下准确检测目标和进行一系列运动操作是主要趋势。本课题针对矿区煤矸石的分拣问题,分两步进行视觉检测,先对大型杂物进行检测剔除,再对煤矸石进行精确检测定位,最后通过视觉引导机械臂进行高效快速的操作。针对煤矸石的视觉检测与机械臂的运动规划展开深入研究。首先,建立了UR5多轴机器人运动学模型。对国内外机器人视觉系统以及运动规划进行研究分析,并阐述ROS平台的架构。用多轴UR5机械臂为研究对象,对机械臂的运动学进行分析与建模。阐述机械臂的位姿描述和坐标变换,利用D-H参数法对机械臂进行正运动学求解,并通过图解法求解出机械臂各个关节角度,使得求解更加直观和便捷,最后建立机械臂的逆运动学求解模型。其次,提出了工业煤矸石视觉检测算法。针对具体的工业场景,对煤矸石检测流程进行分析,将通过两步检测来提高检测准确度。首先针对形状、种类、大小不一的大型杂物进行运动目标检测效果对比,将检测实时性高的Vibe背景建模法与去除“鬼影”效果好的三帧差分进行融合,提出Vibe-三帧差分融合算法,通过对比分析,验证融合算法的有效性。针对相似度高的煤矸石与石块的区分问题,采用所需数据集较少且分割效果好的U-net分割网络,进行数据集训练以及煤矸石检测实验分析。而后,研究视觉引导下的机械臂运动规划。针对传统的随机采样RRT算法及其变种算法进行研究分析,探究各算法的优缺点。在RRT*-connect算法的基础上,加入智能采样策略,对采样进行约束,提出改进的RRT*-connect算法,从而提高算法规划效率。另外利用梯度下降法对搜索出的路径进行平滑处理,使之更适合机械臂的实际移动轨迹。最后,在ROS开发平台进行视觉引导机械臂运动规划的集成应用。首先在ROS平台中通过UR5机械臂的URDF文件,描述机械臂的运动链、结构参数以及惯性特征等,建立机械臂以及相机传感器的仿真模型,然后利用Moveit功能包实现对机械臂的运动控制并设立启动文件。最后在物理仿真环境中搭建机械臂以及传送带运输场景,通过仿真测试来验证此视觉引导机械臂运动规划系统的可行性与高效性。