基于深度学习目标检测的机械臂视觉抓取研究及云平台实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:plant720
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
将机械臂抓取和机器视觉相结合,使得机械臂抓取系统具有智能感知和智能决策的能力,可提高机械臂抓取系统在复杂环境下的适应性。同时,给工业生产的从业者提供一个易操作、低门槛的深度学习模型训练平台有利于深度学习算法的快速落地。因此,本文着力于将机械臂抓取、机器视觉和深度学习相结合,研究快速、准确的机械臂抓取方法,并设计实现一个基于深度学习目标检测的云平台。首先,本文对机械臂视觉抓取系统及云平台的整体构架进行分析设计。从硬件结构和软件模块两个方面对机械臂视觉抓取系统进行详细介绍,其中主要分析各硬件组成部分的性能和参数以及设计基于ROS的软件模块,为机械臂的实际抓取提供了高性能的平台基础。另外,研究分析云平台关键技术,介绍B/S模式、Web系统前端技术和数据存储技术,为云平台的开发提供了理论支持。其次,针对当前基于视觉的机械臂抓取多采用传统目标检测算法,算法泛化能力不强和鲁棒性较差的问题,设计了基于深度学习的轻量型目标检测网络。首先分析比较YOLO系列网络和MobileNetV3系列网络的特点和优势,接着提出了以MobileNetV3网络替换YOLOv4网络的主干特征提取网络,并利用深度可分离卷积替代网络中的普通卷积的MobileNetV3-YOLOv4轻量级目标检测网络。最后,根据改进的网络模型对自制数据集进行训练,多组对比实验结果验证了改进的目标检测网络的优越性。然后,针对深度学习的网络训练专业知识水平要求高、模型训练成本高、训练过程复杂等问题,开发一款基于深度学习目标检测的云平台。首先对云平台的需求进行分析,接着基于Web的设计理念设计云平台的整体构架,最后根据各功能模块的需求进行开发,搭建了一个易上手、运行稳定、安全性高的深度学习目标检测模型训练平台。最后,在真实场景下设计机械臂视觉抓取实验,在机械臂视觉抓取系统上对10类自制数据集的物品进行抓取实验,总体抓取成功率达75.5%,个别物体的抓取成功率达到了100%,验证机械臂视觉抓取系统的可行性和稳定性。同时,对云平台的进行性能测试,测试结果验证了云平台具有良好的交互性和稳定性。
其他文献
随着社会科学和经济的发展,高层建筑以及室内装饰材料对涂料的要求越来越高,防腐、防火和抗菌等多功能环保涂料受到人们越来越多的关注。本文采用生物基原料,制备以水为介质的防火抗菌水性环氧涂料,不含甲醛、苯和乙二醇醚等有毒挥发性有机物,健康环保。使用天然物质阿拉伯胶,简便高效、一步制备亲水性石墨烯,利用其高热稳定性、优异的阻隔性能和化学惰性以及良好的力学性能,来提升水性环氧复合材料的力学、防火和防腐等性能
涡卷弹簧自动张紧器能够为发动机前端附件驱动系统(Engine Front End Accessory Drive System,简称为EFEADS)提供稳定的张力支持,有维持带段张力稳定和减少张力波动的作用。目前国内对涡卷弹簧自动张紧器的研究较少,而且国内的研发设计主要依靠经验,缺乏相应理论基础和性能计算。所以通过相关的理论分析和CAE仿真对涡卷弹簧自动张紧器进行计算,可以提高张紧器研发效率,减少
经过道路行业的多年努力,我国路面结构承载能力不足的问题已基本得到解决。在高温潮湿地区,路面抗滑不足以及抗滑性能快速衰减等表面功能问题正在成为道路行业新的挑战,特别是隧道路面问题更加严重。除此之外,我国是世界第一水泥产能大国,连续多年水泥产量超过全世界的一半。因此,将水泥基材料应于抗滑铺装领域具有重大价值。为了克服传统水泥基材料的缺陷,推动水泥基抗滑铺装层的发展。本文基于响应面优化设计方法,研发一种
大型海藻作为近海海域主要的初级生产力,影响着海洋生态系统的健康;同时,作为海洋生物资源的重要组成部分,为人们提供着巨大的经济价值。海藻的生理生化活动受到环境中温度、光照以及海水盐度、营养盐浓度等多方面影响。长茎葡萄蕨藻(Caulerpa lentillifera)作为一种重要的暖温性大型经济海藻,具有良好的经济和生态利用价值。但目前关于长茎葡萄蕨藻的研究大多停留在生长层面,对于环境因子变化如何影响
1.7μm波段处于水分子两个吸收峰之间的低谷,覆盖C-H共价键的吸收峰,同时位于胶原蛋白和脂肪吸收峰的高峰,因此该波段激光器在聚合物焊接处理、有机物检测及测量、多光子荧光显微成像、光学相干层析成像以及激光手术等领域具有广阔的应用前景。然而,由于1.7μm波段位于传统稀土离子Er3+和Tm3+的发射光谱之间,缺乏高增益的增益光纤,难以实现1.7μm波段的单频光纤激光,因此关于1.7μm波段单频光纤激
齿轮是制造业中重要的基础零部件。随着制造业向“高端化”和“绿色化”的方向转型升级,啮合效率高、磨损率低、使用寿命长的齿轮产品需求在日益增加,因此,高性能新型齿轮传动的研究变得重要。同时,伴随着移动通信、汽车电装和智能家居等行业兴起的趋势,塑料齿轮产品的需求也在不断增加,因此,塑料齿轮传动的研究也非常重要。线齿轮是基于空间共轭曲线啮合理论而发明的新型齿轮机构,其通过一对主、从动接触线连续的点接触啮合
改革开放40多年来,我国城乡发展面貌发生了极大改变,城乡居民的生活水平和生活质量明显改善,中国城镇化已经进入中后期发展阶段。科学评估第一轮新型城镇化规划的实施情况,积极开展新一轮新型城镇化规划的编制工作,意义重大。加快以县城为主要载体的县域新型城镇化,是今后一段时间内有效推动城乡融合发展的重要举措。
随着抗生素在不同水体中不断被检出,其引发的水污染问题日益受到重视。由于存在毒性大,生物降解性低等特点,目前大多数处理手段难以达到理想的抗生素去除效果。电芬顿技术是一种能够有效去除废水中难降解有机污染物的电化学高级氧化技术。非均相电芬顿能克服传统均相芬顿体系存在的应用p H窄,铁泥污染等不足。将催化剂与碳阴极复合可促进H2O2的原位利用,提高催化剂的循环利用率。基于此,本课题以金属有机框架(MOFs
Mg基合金作为镍氢电池负极具有电化学容量高(Mg2Ni H4、Mg Ni非晶的理论电化学容量分别为999m Ah/g、646m Ah/g)和资源丰富等优点,然而,Mg基合金电极在充/放电循环过程中容量衰减特别严重,前人的研究中普遍将其归因于Mg在碱性电解液中的腐蚀,并通过合金化等措施抑制Mg的腐蚀来提高循环稳定性,虽取得一定进展,但仍不能满足镍氢电池负极的商用要求。本文以Mg Ni基非晶合金为研究
基于相变材料的潜热储热技术具有储热密度高,温度波动小及过程易控制等优点,能够有效地解决热能在时间或空间上供需不一致的问题,在建筑节能、太阳能热利用、余热回收等诸多领域具有广泛的应用前景。储热器作为潜热储热技术应用的核心,是由相变材料与换热器组合而成的,实现对相变材料的封装及储热、放热流体与相变材料之间的传热。在绝大多数的应用场合,储热与放热流体通常为不同类型的介质,如储热流体为高温烟气及熔融盐或废