基于自主导航机器人的设施内植物三维重建方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:psh860525
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于自主移动机器人的植物生长参数测量机器人系统,因其移动灵活、自动化与智能化程度高等优点,已逐渐成为植物表型研究领域的热点之一。本研究结合SLAM与深度学习技术,研发了一套具有良好准确性、实用性的设施内植物三维重建机器人系统,用于自动化采集植物图像并重建植物的三维点云模型,并基于模型可测量出植物的株高、叶长和叶宽信息,主要内容和结论如下:
  (1)构建了基于激光SLAM的移动机器人自主导航系统。基于RIA-R100四轮移动平台进行二次开发,采用TIM561激光雷达作为主传感器,在对比Gmapping和Cartographer两种激光SLAM算法的建图精度后,设计了基于Cartographer的机器人自主导航方法,并通过实验验证该导航方法的可行性,最终测得导航系统平移和旋转的平均相对误差分别为3.10%和1.45%。
  (2)构建了基于视觉SLAM的场景三维重建系统。根据针孔相机模型,使用彩色图像和深度图像,生成单帧图像对应的三维点云,并对Kinect V2相机进行标定,获得更准确的相机内外参数,以提升点云生成的准确性。基于ORB-SLAM2解算各帧图像对应的相机位姿,并通过实验验证地图优化和回环检测的有效性。之后,根据各帧的位姿和点云信息,结合所提出的自适应重建帧选择算法,从所有帧中自动挑选出少量帧进行点云融合,最终重建出相机所拍摄场景的三维点云模型。
  (3)结合深度学习技术,提出了基于Mask R-CNN+CRF的植物图像分割方法和基于DeblurGAN的图像运动模糊去除方法。为分离植物与背景,在对比Mask R-CNN和DeeplabV3+两种深度学习图像分割方法的分割精度后,采用Mask R-CNN对植物图像进行粗分割,再使用CRF进行精分割,分割结果的IOU可达0.9253。另外,为减少运动模糊图像对三维重建系统的影响,使用基于深度学习的DeblurGAN和所提出的模糊图像筛选算法,对机器人采集到的运动模糊图像进行去模糊操作。该图像运动模糊去除方法可将测试集上的PSNR提升8.66%,将真实模糊图的特征点数提升50.00%,将特征匹配数提升17.46%,将人造模糊图的图像分割IOU提升9.93%,并提升了ORB-SLAM2在经人工模糊后的KITTI数据集上的相机位姿解算精度,说明该去模糊方法可同时提升相机位姿解算和植物图像分割精度。
  (4)提出了结合运动模糊去除、相机位姿解算、植物图像分割、单帧点云生成、多帧点云融合、点云降噪平滑的植物三维重建方法,并构建了自主导航的植物三维重建机器人系统,在实验室环境下,对整机进行实验。首先在自主导航的基础上,将Kinect V2深度相机搭载于移动机器人的UR-5机械臂末端,通过事先给定导航点的方式,实现对植物种植区彩色图像和深度图像的自动采集,再通过所提出的植物三维重建方法,重建出10株蝴蝶兰植物的三维点云模型,其中图像采集耗时约53s,三维重建耗时约82s,并基于该模型测量出植物的株高、叶宽、叶长,三个参数的平均相对误差均在8.2%以内,RMSE均在6.7mm以内,能较好地反映植物的三维特征。
  本研究开发的植物三维重建机器人系统,具有图像信息自动化采集的功能,且植物重建精度较高、耗时较短,有着良好的准确性和实用性,体现出广阔的应用前景。
其他文献
舰艇、航空航天、建筑等工程领域中的振动和噪声问题一直被国内外学者所关注。实际工程结构通常有复杂的边界条件并遭受各种载荷,恶劣的环境载荷甚至会造成结构的破坏,这些都会影响实际结构的动态性能和声学性能,因此,建立符合实际的物理模型对于准确预报结构的动力学性能和声学性能至关重要。另外,如何实现轻质结构的宽频减振降噪也是国内外科研工作者研究的热点,周期性结构在特定频率内所具有的阻止弹性波传播的带隙特性为结
随着海洋油气开发持续向深水推进,适用于深海作业的张力腿平台越来越受到重视。张力腿平台在位时被绷紧的张力腿限位半潜于海洋中,与海洋中的流体相互作用,引起平台本体六个自由度运动以及立管多模态运动。特别是当立管在起下作业或遭遇恶劣海况处于悬挂状态时,其受激产生的复杂运动对立管安全性有重大影响。平台本体和处于悬挂状态的立管受激产生的运动响应按响应周期范围分为长周期、波周期和短周期运动。其中,张力腿平台本体
水产品中的致病菌污染贯穿于水产养殖、生产、流通等各个环节,水产致病菌超标引起的食源性疾病对大众健康危害巨大,因此研究高效快速的水产致病菌检测方法是保障水产品安全重要手段。然而,现有的水产致病菌检测方法如平板菌落计数法、流式细胞仪法以及分子生物学检验法,都存在着检测时间长、目标菌捕获难、试剂量大以及自动化程度低等问题,严重制约致病菌实时检测与监控水平的提高。基于微流控芯片的水产致病菌检测方法具有耗材
金华火腿盛产于浙江省金华市,历史悠久、风味独特、色泽鲜艳、品质卓越,距今已有1400多年的历史,是浙江省金华市最富有盛名的地方特产。因其色、香、形、味“四绝”驰名中外,誉满全球。据统计,金华火腿的年消费量400万只,出口量3000多吨,火腿总销售额超过20亿元,占全国市场的70%左右。但是由于生产原料、加工季节、天气状况和加工技术等因素的影响,导致火腿成品等级存在差异。限于现在的技术,火腿的分级操
学位
随着我国居民生活水准的提高,对禽蛋类农产品的质量要求越来越高,因此对于禽蛋分级设备的需求也越来越高。而禽蛋重量是衡量禽蛋品质的一个重要指标。本文在课题组研发的禽蛋动态称重机械设备与动态称重信号调理模块的基础上,开发了适合用于禽蛋动态称重的嵌入式软件系统,主要以禽蛋为研究对象,从滤波去噪的数字滤波器选择和基于信号特征值的重量预测入手,分别开展了不同FIR滤波器与IIR滤波器对禽蛋动态称重原始信号滤波
中国是世界上最大的罗非鱼生产国,罗非鱼加工业发展迅速。鱼类初加工主要包括去鳞、去内脏等环节,国内目前仍采用人工喂入、根据经验旋钮调控速度的方式,缺乏对鱼加工过程运行参数和物料状态有关数据的实时监测与在线控制。随着劳动力成本提高和市场对高质量水产品需求的不断增长,亟需发展有关设备与自动监控技术。喂入量是关系鱼加工生产线稳定运行、影响去鳞机等加工装备速度调整和加工质量、保障生产率的重要数据。本文针对罗
学位
循环水养殖(RAS)作为设施水产养殖中的高级模式,近年来在我国发展迅速,对促进渔业转型升级和现代化具有重要引领作用。RAS的核心在于水质净化,其中粪便、残饵等固体颗粒废物去除是维持系统稳定运行首要且关键的处理环节。当前由于对悬浮颗粒物基本特性及其去除机制的认知不足,不同去除技术对去除效率及粒径分布的影响不明晰,颗粒物去除效率不高尤其是细微颗粒物,已成为制约RAS快速发展和养殖效益提高的重要因素。本
厌氧消化是一种处理动物粪便和生物质副产品的有效方法,既可减少其环境污染威胁,又可获得沼气(甲烷)这种可再生的生物质能源。在有潜力的生物质资源中,水产品加工废弃物被认为是产沼气的廉价和有效的原料。2016年中国渔业总产量为4920万吨,约占全球内陆渔业总产量的62%。鱼内脏是鱼类加工中的主要副产品,约占鱼类重量的10%以上。2016年共产生490多万吨加工废弃物。而传统的水产品加工废弃物是通过垃圾填
学位
农作物生产是一项关系国计民生的大事,虫害会破坏农作物正常生长发育、影响农作物品质和产量,是农业生产过程中的重大威胁,因此虫害防治是农作物生产过程中的重要环节。过度依赖农药、盲目施药,会带来药害残留、生态环境污染等恶果,而害虫也会产生抗药性,从而导致防治效果越来越差,形成恶性循环。综合害虫管理(Integrated Pest Management,IPM)这一概念由此提出,通过对害虫采取化学、生物等
学位
水稻(Oryza sativa L.)是中国的主要粮食农作物,其质量与产量是保障国民粮食安全的重要影响因素。水稻从播种到收获期间,因为品种抗性、温湿度、水肥管理等多种因素的影响,会遭受到不同病害侵袭,最终导致水稻大面积减产。水稻病害种类多样,某些病症具有一定的相似性,给病害早期检测造成了困难。本论文以不同抗性品种的水稻为对象,采用高光谱成像技术对水稻稻瘟病、纹枯病、白叶枯病进行早期检测。主要研究内
学位