基于深度学习的目标检测与双臂协作分拣系统设计

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:xqjulia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
抓取机器人因其高效、灵活的特点而被广泛应用于物流分拣、工业制造等领域。目前,多数分拣应用场景都采用单臂机器人和传统视觉检测方式,其工作范围有限、负载能力不足、实时性弱、难以满足自适应分拣的需求。近年来,多机器人协作技术和深度学习的发展为解决上述问题提供了新的途径。本文设计了一个双臂协作分拣系统,利用机器视觉和深度学习技术对工件类别和位置进行检测,规划双臂完成大小工件的分拣任务,主要研究内容包括:双臂运动学模型建立、单目视觉的目标位姿计算、双臂协作分拣的运动规划、基于深度学习的目标检测和双臂分拣实验验证等。采用DH参数法对UR5机械臂进行运动学建模,推导了该机械臂的正运动学表达式,又采用雅可比矩阵迭代的方法分析了机械臂的逆运动学,为双臂协作分拣的路径规划奠定了基础。建立了眼在手外的单目视觉系统,利用张正友标定方法和PNP算法分别求出了相机内参和双臂分拣场景时的外参,实现了像素坐标到世界坐标的转换,并通过实验验证了单目视觉位姿计算的准确性,为后续的实验平台搭建创造了条件。分析了双臂有效抓取工作空间并制定了分拣策略;针对双臂协作分拣工件过程中可能发生碰撞的问题,对双臂连杆轮廓进行了模型简化,通过计算连杆模型间最短距离,实现了双臂的碰撞检测,并采用改进RRT算法对双臂进行了运动规划;针对双臂分拣大工件过程中形成强耦合结构的问题,分析了双臂末端之间的位姿约束关系;最终通过双臂协作分拣工件的仿真,验证了分拣策略制定的可行性和双臂协作算法的正确性。采用YOLOv4算法实现对目标工件类别的识别和位置的检测。针对原YOLOv4检测速度较慢的问题,将其主干网络和PANet中的常规卷积分别用MobilenetV3网络和深度可分离卷积进行替换,实现了模型的轻量化,并在自建工件数据集上完成了训练与测试,结果表明改进后的模型参数量只有原模型的1/5左右,检测速度达到了30FPS左右,而mAP达到了95.75%,和原模型相比仅下降了0.09%;针对改进YOLOv4检测框存在误差导致抓取位置不准确的问题,采用图像处理技术获得了检测工件的最小外接斜矩形,并以其重心点为参照,计算出了大小工件的抓取位置。搭建了双臂协作分拣系统的实验平台,设计了上下位机软件,并进行了双臂分拣工件实验,相比利用传统视觉检测方式的单臂机器人,提高了分拣效率以及对环境变化的适应性,降低了人力劳动成本,对双臂协作分拣的研究与实践具有一定的参考意义。
其他文献
阐述UWB定位具有定位精度高、时间戳精度高、发射功率低的特点,设计以STM32为主控芯片,以DW1000超宽带芯片、OLED显示屏、PCB天线为核心硬件、以Keil5为软件开发环境,通过双边双向测距方式实现标签与基站之间距离的实时监测,并将测距距离在OLED显示屏和超级终端显示。该测距系统测距精度高,成本低,易操作,可广泛应用于室内静止或移动物体的精准定位。
期刊
吊舱式推进装置(Podded Propulsor,POD)越来越广泛的应用于各种类型的船舶。POD推进器最主要的特点是其在提供推力的同时,也可以改变推力的方向,从而达到操舵的目的。航向的改变势必会影响航速,而航速反过来也会对航向的控制产生影响,所以对POD推进船舶航向航速联合控制的研究具有一定的理论研究和实际应用价值。本论文将在建立POD推进船舶运动数学模型的基础上,重点进行基于自抗扰控制框架的吊
学位
目前UWB技术常用于室内定位。使用DW1000进行测距数据收集,针对信号干扰下的超宽带(UWB)精确定位问题,提出了基于改进的最小二乘法定位优化模型,包括对于干扰和正常数据的分类以及后续的定位。针对干扰信号,结合基站三维几何分布关系,引入与距离相关的权重对算法进行了改进,改进后的模型可将三维误差降低33.31%。最后,对于实际中的UWB定位进行了动态预测以及模拟,效果良好。
期刊
无人船相较于同级别有人船具备高度自主航行和决策能力,且航速高、搭载量大,能够完美适应新型海上系统的任务需求。多无人船集群系统相较于单无人船在执行任务时可覆盖海域更广、完成效率更高,是开展海洋资源勘测、海事防务等水上作业的利器。因此对复杂海洋环境下的无人船集群决策机制及集群控制系统设计研究具有实际意义与价值。本文着重考虑无人船的运动决策机制设计问题,提出了速度导引的无人船运动决策机制。针对复杂海洋环
学位
在计算机视觉技术中,目标识别与跟踪方法俨然已经成为当前热点研究问题,并被广泛应用于自动驾驶、行人监测等领域。尤其是在海上交通监控、海洋安全监管等任务中,船舶具备高效准确的海上船舶目标识别与跟踪能力是非常重要的。然而该技术容易受到船舶种类、船舶分布以及目标距离各异等诸多不确定性因素的影响,无法保证海上船舶目标的识别与跟踪任务的快速性、可靠性和准确性。针对以上问题,本文提出了一种兼顾多种综合性能指标的
学位
随着科学技术的高速发展,无人船智能化程度逐渐提高,对无人船岸端一体化助航系统需求迫切,因此设计并实现一种无人船岸端辅助领航态势显示系统来提高无人船的航行安全度是非常有意义的。作为领航态势显示系统不但需要为岸端操纵人员提供可靠的、直观的显示方式,同时还需减少多传感器界面所带来的复杂性,以此来减少岸端使用者的工作,提高使用者的注意力来保障无人船安全航行。基于以上实际需求本文设计了一种基于虚实融合的无人
学位
土地出让过程中地方政府官员利用“压低工业地价、抬高住宅地价”的方式发展地方经济,导致不同用途的土地出让价格之间形成巨大的“剪刀差”。地方政府官员变更频繁带来的政策不确定性将影响土地市场价格波动。基于官员变更频率的视角,在构建理论模型的基础上,使用2009—2018年中国211个城市面板数据,运用双向固定效应模型检验政策不确定性对土地出让价格“剪刀差”的影响与机制。研究发现:(1)官员变更频率增高引
期刊
作为计算视觉领域的一个重要研究方向,人员行为识别在智能监控、智慧工厂和安防等领域均有重要的应用价值。在工业场景下,现场人员由于不安全行为或违规状态引发的安全事故时有发生,将人员行为识别技术应用到工业现场成为了研究的热点。近年来随着深度学习的不断发展,产生了许多基于深度学习的行为识别相关算法,这些算法通过神经网络自主提取特征,与传统算法相比具有更好的泛化能力,但是在工程应用时也存在着一些不足之处。本
学位
以铸件在整个生产过程中易出现的变形问题作为切入点,对设计阶段、造型阶段、保温阶段、清理发运阶段可能会出现变形的过程以及解决或减小变形的控制方法进行了阐述。通过对铸件从设计到生产的各个环节进行防变形控制,可以有效减少减轻铸件的变形趋势。
期刊
随着计算机视觉技术的发展,智能化教学成为了研究的热点。智能教学着重关注学生的情感变化以及学习状况。微表情作为一种无意识流露出的面部表情更能体现出学生的真实状态,其对智能化教学的普及有着重大的意义。但是,微表情持续时间短,强度弱,容易受到人脸、光照、噪声等因素的影响。因此,这对研究造成了一定的困难。针对教育场景中微表情检测与微表情识别存在的问题,本文主要研究内容如下:(1)针对教育场景中光照对图像预
学位