基于三维视觉的番茄授粉机器人手臂引导系统研究

来源 :上海海洋大学 | 被引量 : 0次 | 上传用户:pennyboys
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我国是世界最大的番茄生产和消费国家,番茄生产是农民增收致富和出口创汇的重要途径之一。目前,番茄人工授粉方法存在主观性强、工作效率低、劳动强度大等问题,且激素处理不当容易引起激素残留或产生畸形果。而授粉机器人则可以有效降低田间作业劳动量,提高番茄产量和品质,现有授粉机器人大多处于试验或理论阶段;因此,研发番茄授粉机器人对降低生产成本、降低劳动强度、提高作业效率具有重要的意义。本文以大型玻璃温室内番茄花朵为研究对象,开展一套基于三维视觉的番茄授粉机器人手臂引导系统研究。主要研究内容如下:(1)对温室环境中番茄花束以及花期的识别与检测。为提高花期识别的准确率,以温室番茄为例提出了一种基于级联卷积神经网络的番茄花期识别检测方法。首先采用改进的基于特征金字塔花束提取神经网络(Flower Extraction Feature Pyramid Networks,FE-FPN)实现番茄花束的局部区域提取,并采用Prim最小生成树对提取的花束区域图像进行识别优先级排序,然后按序将其输入到改进的YOLOv3网络,实现番茄花朵不同花期的精准辨识检测。在包含4类花期、共1 600幅样本的番茄花束图像数据集上进行试验验证,本文方法对番茄不同花期的检测性能较好,平均检测精度达到了82.79%,平均单张检测时间为12.54 ms,各花期精度为花蕾期85.71%、全开期95.46%、谢花期62.66%、初果期88.34%;相比Mask R-CNN和空间金字塔池化网络(Spatial Pyramid Pooling Networks,SPP-Net),平均精度提高了3.67%和2.39%,而且识别错误率比基础YOLOv3网络降低了1.25%。最终,本文将所提方法部署到大型玻璃温室环境下番茄授粉机器人上进行实际验证,该方法在复杂环境下识别准确率为76.67%,除去漏提取花束准确率达85.18%。(2)授粉机器人对番茄花朵的定位算法研究。为实现对番茄授粉机器人授粉提供可靠的技术指导,提出了一种基于3D视觉的番茄授粉花朵定位方法。采用RGBD结构光相机快速获取温室内番茄植株的彩色图和深度图信息,通过快速小目标检测YOLOv3神经网络实现植株上番茄花束的识别,并提取出授粉花束在图像中的占有区域;采用主动对齐方式结合PCL进行彩色图和深度图像的对齐,获得番茄植株的空间点云信息;使用区域离群滤波法对点云进行去噪,并对花束区域进行精配准获取高精度点云,结合双向均值算法计算出花束3D box的授粉质心坐标。定位试验结果表明:该方法在温室环境中平均定位成功率达到86.25%,平均执行授粉完成率为71.25%,能够满足番茄授粉机器人对授粉点定位需求。(3)在Linux环境下基于Open CV和QT等框架对番茄授粉机器人授粉系统的初步构建。系统包含图像的获取、识别模型的使用、点云坐标计算、手臂引导控制、授粉末端的执行以及机器人底盘移动的控制六部分。图像获取采用RGB-D结构光相机采集RGB图和深度图,并通过USB3.0接口与核心控制器连接。识别模型采用基于卷积神经网络模型,并在Open CV框架下进行模型的使用。点云坐标计算包含图像对齐、配准和离群滤波去噪后由PCL获得空间点云信息。手臂引导控制则根据该点云坐标值在标定转换后进行移动,由QT编写生成。手臂移动到目标位置后,授粉末端由核心控制器发送串口指令到ARM开发板上驱动执行部件进行授粉操作。在单视野内对所有花束完成授粉后,系统根据TCP协议发送命令到机器人底盘系统,控制机器人向前或向后移动植株定植间距距离。接着重复进行识别、定位、授粉等操作。本文以温室番茄花朵为材料,应用机器学习和三维视觉技术,构建一套基于三维视觉的番茄授粉机器人手臂引导系统。从测试结果上来看,该系统能够快速、精准的对温室内番茄花朵进行授粉操作,可有效降低劳动力输出,为番茄智能授粉机器人精准授粉提供一套高效的技术支持和精准作业提供重要依据。
其他文献
芜菁(Brassica rapa L.subsp.rapa),又名蔓菁、盘菜,维吾尔语称‘恰玛古’,因具有食用、药用和饲用价值而广泛种植。在新疆,南疆地区是芜菁的主产地;但其气候干旱,土壤盐碱度大,芜菁在生长过程中常受到盐碱胁迫、干旱胁迫等非生物胁迫的影响,从而引起产量波动大、质量参差不齐。脂氧合酶(Lipoxygenase,LOX)作为一种多功能酶,在参与植物的逆境胁迫响应和生长发育中发挥重要作
学位
布鲁氏菌病(Brucellosis)简称布病,是由布鲁氏菌(Brucella)通过黏膜、消化道、呼吸道等多种传播途径侵入机体引起的人畜共患传染病,布病对机体造成黏膜损伤、生殖道感染等症状,严重危害畜牧业发展和人类健康。肠道菌群与宿主代谢、生长发育及疾病密切相关的研究已有大量报到,但目前对布鲁氏菌感染羊肠道、阴道菌群组成结构与功能变化及其与宿主炎性因子变化的相关性缺乏了解。因此,本研究选择相同养殖环
学位
枸杞为浆果类果实,鲜果含水量较高,组织脆弱,易受到机械损伤和外界微生物侵染,使其不易进入市场,市售大多为枸杞的干制品。其表皮附着较厚的蜡质层,使枸杞干制速度慢,干制时因长时间受热和氧气的影响,使枸杞发生褐变反应导致色泽劣变,且传统脱蜡剂难以长期维持枸杞的色泽。因此,缩短枸杞干燥时间并采取措施进行护色有助于提高干制枸杞的品质。本文研究了一种无硫促干护色方法和一种低硫促干护色方法,对比分析了不同促干护
学位
目的:对新疆不同动物源E.coli O157:H7进行分离鉴定,研究其生物学特性及流行传播规律,为新疆各地区E.coli O157:H7的污染状况评估提供科学依据,为控制不同动物E.coli O157:H7的传播提供参考,以期从源头保障畜牧业的健康发展。方法:(1)从新疆不同地区采集不同动物的样本(粪便、肛拭子和胴体拭子),先用EC肉汤增菌,经免疫磁珠富集后,再用CT-SMAC与MUG选择性培养,
学位
近年来,细菌性果斑病对新疆甜瓜生产影响较为严重,而防治细菌性果斑病多依赖于铜制剂,铜制剂施用不当很容易造成铜害,影响植株生长发育,同时,铜累积也会危害人类的身体健康。因此,筛选抗铜甜瓜种质资源、研究甜瓜的抗铜性遗传规律是有必要的。本研究以245份甜瓜种质资源作为试验材料,在甜瓜苗期叶面喷施铜制剂,调查试验材料的铜害发生情况,根据抗性指标和系统聚类分析等方法进行甜瓜种质抗铜性鉴定,为甜瓜选育抗铜性亲
学位
越来越多处于繁重生活压力下的城市居民愿意尝试并体验乡村休闲生活,乡村旅游成为乡村经济发展新模式。乡村地区由全面脱贫迈向乡村振兴战略目标,在乡村旅游发展背景下农户是直接受益者,其生计现状得到改善。乡村旅游地利用景区资源与文化资源开发特色经营项目,政府高度重视并发布相关政策及提供资金支持。南疆四地州属于旅游资源丰富的贫困地区,选择该地区乡村旅游地为实地调研案例地,以期推动当地旅游经济。本文以南疆四地州
学位
新疆是中国杏干的主产地,由于其独特的地理优势,光、热、干旱等气候资源,杏干的加工方式多以传统的晒干为主,在鲜杏干制过程中,几乎都会出现不同程度的褐变,严重影响了杏干的品质,成为制约杏干产业发展的重要因素。本文以不同成熟度的赛买提杏为试验材料,采用不同浓度硫处理等护色工艺结合热风干制,研究低硫护色工艺及热风干制工艺对杏干褐变的影响,以期阐明干制前护色预处理及热风干制温度对赛买提杏干褐变各要素相关性的
学位
布鲁氏菌病(简称布病)是由布鲁氏菌感染动物和人而导致的人畜共患病,主要通过病菌侵入机体的黏膜、呼吸道等导致,家畜感染后主要表现为雌性不孕、流产,以及雄性睾丸炎等。新疆畜间布病近几年呈上升趋势,作为养殖业大区,布病严重影响着新疆的畜牧业健康发展和社会公共卫生安全。本研究对乌鲁木齐市2021年牛布病进行了流行病学调查,研究了牛布病A19疫苗的使用方法和抗体检测方法,制定并实施了牛布病的防治措施。结果如
学位
在中国果树种植的发展历史中,杏树因具有改善环境,预防土地沙漠化,带动经济增长等优势,长期以来在农业经济中占比较重,在我国影响杏产业发展的主要原因有杏树的败育率较高,杏果供应环节存在供应期短且集中、不耐贮运等问题。杏果成熟期在炎热时节、采收期较短,呼吸代谢旺盛,在不适宜的温度下贮藏容易失水,腐烂变质,增加被病原微生物侵染的几率,浪费资源且带来巨大的经济损失。1-甲基环丙烯(1-Methylcyclo
学位
中国经济迅速发展、人类活动范围扩大,导致内陆湖泊水库的污染、富营养化等问题不断加剧。水生植被能够对湖泊的水质、生物多样性以及生态环境等方面都有一定的调控能力,如稳定沉积物,减缓水流,净化水源,维持渔业生产,维持湿地生态系统的平衡。因此,水生植被分布情况、结构和演变趋势对湿地生态环境变化具有重要的指示意义和科学研究价值。本文通过研究现有机器学习模型和应用领域,将随机森林和U-Net模型应用于水生植被
学位