论文部分内容阅读
海洋中蕴藏着丰富的资源,海洋资源开发对人们的生活具有重要意义。海产养殖是海洋开发的一个重要途径,随着海产养殖逐渐向精细化发展,低效率的人工监控方式逐渐被计算机分析所取代。随着计算机视觉与深度学习技术的发展,使得基于视觉的精细化海产养殖成为可能。通过监控摄像头,利用视觉分析技术,可监控养殖鱼类的生长情况,实现养殖过程的精细化分析。这要求计算机不仅能够识别各种鱼类,还需要得到鱼的生成状况(如体长)等信息。本文以水下的鱼为研究对象,以双目视觉理论为基础,引入了目标分割与检测算法,确定图片中鱼的具体位置及轮廓大小,并设计了一种水下鱼类体长的自动测量方法,实现水下养殖鱼类的分类、位置检测以及体长估算等功能,主要研究内容如下:(1)介绍了双目视觉技术的基本理论以及流程,以双目视觉技术为基础,进行距离感知。双目视觉理论的核心是立体匹配算法,通过计算双目图像间某一像素的视差,判断该像素代表的位置与相机的距离。本文使用SGBM算法进行立体匹配。
(2)将目标分割算法引入双目视觉距离计算中。针对立体匹配算法在对整张图像进行立体匹配过程中,存在的精度不高、速度慢等问题,利用图像分割算法获得双目图像中鱼的轮廓与部分位置信息,将此信息作为立体匹配算法的约束信息,根据鱼的轮廓在图像中的位置裁剪出局部区域进行匹配计算,减少匹配计算量、降低计算时间、提高匹配效果。同时,立体匹配算法仅能求出目标到相机的距离,要得到体长信息,还需要通过分割算法对图像中鱼的体长进行估计。通过分割图中鱼的轮廓计算出图片中鱼的长度,结合该长度与匹配算法获得的距离信息计算得到鱼的现实长度。
(3)目标分割算法主要用于鱼的轮廓的辨识,无法直接给出多个鱼的位置信息。基于此本文引入了目标检测算法,检测并识别出不同鱼的种类,并将每一条鱼的位置信息分离开来。为了减少计算量,使用多任务联合网络架构,在训练过程中同时进行目标分割与检测多任务处理,对鱼类进行检测、分割以及体长估算。
本文利用tensorflow搭建网络模型,将目标分割算法与双目立体匹配计算相融合,以MultiNet网络架构为基础,构建了基于多任务、多目标检测与分割的网络模型,实现水下目标鱼类的检测、分割与体长估计,并利用自制的数据集以及fish4knowledge数据集完成模型的训练。实验结果表明,所设计的模型与算法能够完成水下鱼类目标的检测以及体长估计,水下鱼类体长估计误差在5%左右。
(2)将目标分割算法引入双目视觉距离计算中。针对立体匹配算法在对整张图像进行立体匹配过程中,存在的精度不高、速度慢等问题,利用图像分割算法获得双目图像中鱼的轮廓与部分位置信息,将此信息作为立体匹配算法的约束信息,根据鱼的轮廓在图像中的位置裁剪出局部区域进行匹配计算,减少匹配计算量、降低计算时间、提高匹配效果。同时,立体匹配算法仅能求出目标到相机的距离,要得到体长信息,还需要通过分割算法对图像中鱼的体长进行估计。通过分割图中鱼的轮廓计算出图片中鱼的长度,结合该长度与匹配算法获得的距离信息计算得到鱼的现实长度。
(3)目标分割算法主要用于鱼的轮廓的辨识,无法直接给出多个鱼的位置信息。基于此本文引入了目标检测算法,检测并识别出不同鱼的种类,并将每一条鱼的位置信息分离开来。为了减少计算量,使用多任务联合网络架构,在训练过程中同时进行目标分割与检测多任务处理,对鱼类进行检测、分割以及体长估算。
本文利用tensorflow搭建网络模型,将目标分割算法与双目立体匹配计算相融合,以MultiNet网络架构为基础,构建了基于多任务、多目标检测与分割的网络模型,实现水下目标鱼类的检测、分割与体长估计,并利用自制的数据集以及fish4knowledge数据集完成模型的训练。实验结果表明,所设计的模型与算法能够完成水下鱼类目标的检测以及体长估计,水下鱼类体长估计误差在5%左右。