论文部分内容阅读
基于自主移动机器人的植物生长参数测量机器人系统,因其移动灵活、自动化与智能化程度高等优点,已逐渐成为植物表型研究领域的热点之一。本研究结合SLAM与深度学习技术,研发了一套具有良好准确性、实用性的设施内植物三维重建机器人系统,用于自动化采集植物图像并重建植物的三维点云模型,并基于模型可测量出植物的株高、叶长和叶宽信息,主要内容和结论如下:
(1)构建了基于激光SLAM的移动机器人自主导航系统。基于RIA-R100四轮移动平台进行二次开发,采用TIM561激光雷达作为主传感器,在对比Gmapping和Cartographer两种激光SLAM算法的建图精度后,设计了基于Cartographer的机器人自主导航方法,并通过实验验证该导航方法的可行性,最终测得导航系统平移和旋转的平均相对误差分别为3.10%和1.45%。
(2)构建了基于视觉SLAM的场景三维重建系统。根据针孔相机模型,使用彩色图像和深度图像,生成单帧图像对应的三维点云,并对Kinect V2相机进行标定,获得更准确的相机内外参数,以提升点云生成的准确性。基于ORB-SLAM2解算各帧图像对应的相机位姿,并通过实验验证地图优化和回环检测的有效性。之后,根据各帧的位姿和点云信息,结合所提出的自适应重建帧选择算法,从所有帧中自动挑选出少量帧进行点云融合,最终重建出相机所拍摄场景的三维点云模型。
(3)结合深度学习技术,提出了基于Mask R-CNN+CRF的植物图像分割方法和基于DeblurGAN的图像运动模糊去除方法。为分离植物与背景,在对比Mask R-CNN和DeeplabV3+两种深度学习图像分割方法的分割精度后,采用Mask R-CNN对植物图像进行粗分割,再使用CRF进行精分割,分割结果的IOU可达0.9253。另外,为减少运动模糊图像对三维重建系统的影响,使用基于深度学习的DeblurGAN和所提出的模糊图像筛选算法,对机器人采集到的运动模糊图像进行去模糊操作。该图像运动模糊去除方法可将测试集上的PSNR提升8.66%,将真实模糊图的特征点数提升50.00%,将特征匹配数提升17.46%,将人造模糊图的图像分割IOU提升9.93%,并提升了ORB-SLAM2在经人工模糊后的KITTI数据集上的相机位姿解算精度,说明该去模糊方法可同时提升相机位姿解算和植物图像分割精度。
(4)提出了结合运动模糊去除、相机位姿解算、植物图像分割、单帧点云生成、多帧点云融合、点云降噪平滑的植物三维重建方法,并构建了自主导航的植物三维重建机器人系统,在实验室环境下,对整机进行实验。首先在自主导航的基础上,将Kinect V2深度相机搭载于移动机器人的UR-5机械臂末端,通过事先给定导航点的方式,实现对植物种植区彩色图像和深度图像的自动采集,再通过所提出的植物三维重建方法,重建出10株蝴蝶兰植物的三维点云模型,其中图像采集耗时约53s,三维重建耗时约82s,并基于该模型测量出植物的株高、叶宽、叶长,三个参数的平均相对误差均在8.2%以内,RMSE均在6.7mm以内,能较好地反映植物的三维特征。
本研究开发的植物三维重建机器人系统,具有图像信息自动化采集的功能,且植物重建精度较高、耗时较短,有着良好的准确性和实用性,体现出广阔的应用前景。
(1)构建了基于激光SLAM的移动机器人自主导航系统。基于RIA-R100四轮移动平台进行二次开发,采用TIM561激光雷达作为主传感器,在对比Gmapping和Cartographer两种激光SLAM算法的建图精度后,设计了基于Cartographer的机器人自主导航方法,并通过实验验证该导航方法的可行性,最终测得导航系统平移和旋转的平均相对误差分别为3.10%和1.45%。
(2)构建了基于视觉SLAM的场景三维重建系统。根据针孔相机模型,使用彩色图像和深度图像,生成单帧图像对应的三维点云,并对Kinect V2相机进行标定,获得更准确的相机内外参数,以提升点云生成的准确性。基于ORB-SLAM2解算各帧图像对应的相机位姿,并通过实验验证地图优化和回环检测的有效性。之后,根据各帧的位姿和点云信息,结合所提出的自适应重建帧选择算法,从所有帧中自动挑选出少量帧进行点云融合,最终重建出相机所拍摄场景的三维点云模型。
(3)结合深度学习技术,提出了基于Mask R-CNN+CRF的植物图像分割方法和基于DeblurGAN的图像运动模糊去除方法。为分离植物与背景,在对比Mask R-CNN和DeeplabV3+两种深度学习图像分割方法的分割精度后,采用Mask R-CNN对植物图像进行粗分割,再使用CRF进行精分割,分割结果的IOU可达0.9253。另外,为减少运动模糊图像对三维重建系统的影响,使用基于深度学习的DeblurGAN和所提出的模糊图像筛选算法,对机器人采集到的运动模糊图像进行去模糊操作。该图像运动模糊去除方法可将测试集上的PSNR提升8.66%,将真实模糊图的特征点数提升50.00%,将特征匹配数提升17.46%,将人造模糊图的图像分割IOU提升9.93%,并提升了ORB-SLAM2在经人工模糊后的KITTI数据集上的相机位姿解算精度,说明该去模糊方法可同时提升相机位姿解算和植物图像分割精度。
(4)提出了结合运动模糊去除、相机位姿解算、植物图像分割、单帧点云生成、多帧点云融合、点云降噪平滑的植物三维重建方法,并构建了自主导航的植物三维重建机器人系统,在实验室环境下,对整机进行实验。首先在自主导航的基础上,将Kinect V2深度相机搭载于移动机器人的UR-5机械臂末端,通过事先给定导航点的方式,实现对植物种植区彩色图像和深度图像的自动采集,再通过所提出的植物三维重建方法,重建出10株蝴蝶兰植物的三维点云模型,其中图像采集耗时约53s,三维重建耗时约82s,并基于该模型测量出植物的株高、叶宽、叶长,三个参数的平均相对误差均在8.2%以内,RMSE均在6.7mm以内,能较好地反映植物的三维特征。
本研究开发的植物三维重建机器人系统,具有图像信息自动化采集的功能,且植物重建精度较高、耗时较短,有着良好的准确性和实用性,体现出广阔的应用前景。