内镜图像中手术器械分割及手术钳末端位姿估计的研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:chaoge100
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
消化内镜微创手术器械交互安全预警系统旨在对多器械消化内镜微创手术中手术钳器械操作力的安全性进行实时监控。系统主要由肿瘤分割、手术器械分割、手术钳末端位姿估计、手术钳与软组织交互模型设计等模块构成,其中,手术器械分割与手术钳末端位姿估计是预警系统的基础和关键。然而,目前主流的语义分割网络,对内镜手术器械分割的研究较少,且大都过于片面地强调预测精度或者预测速度,缺乏对网络整体分割性能的有效平衡。另外,主流的目标估计算法大都基于CNN网络进行设计,仅能预测出表示目标整体位置的规则矩形估计框,缺乏对目标方向信息和末端位置信息的估计。而且,目前的位姿估计算法大都基于关键点检测算法设计,需要费时费力的数据集标注。首先,本文基于模拟数据集设计了一个实时高精度器械分割网络。首先搭建了一个多器械内镜微创手术模拟平台模拟手术中器械交互,然后采集、标注和增强了数据,制作了模拟数据集。最后,基于轻量级特征提取网络、注意力机制、特征金字塔网络等高性能模块设计实现了一个性能达到85%m Io U以上和40 FPS以上的实时高精度器械分割网络。其次,本文基于公开的MICCAI竞赛数据集验证了网络分割性能,并基于该数据集对网络进行了边界损失函数、横向连接注意力机制、门机制特征选择等新颖设计,进一步提升了网络分割性能,在该数据集三类分割任务中实现了62.49%m Io U和53.90 FPS的突出性能,优于大多数主流分割网络。最后,本文分析了基于关键点检测去估计目标位姿算法的不足,并基于高精度分割图设计了一个高效的手术钳末端位姿估计算法。首先基于关键点检测算法和分割网络,设计了一个能够同时分割器械和估计手术钳位姿的多任务学习网络,并分析了其优缺点。其次,为了去除标注数据集的负担,本文充分利用器械分割图中丰富的语义信息,设计了一个基于高精度分割图的新颖手术钳末端位姿估计算法。该算法通过检测出包含手术钳的最小外接矩形框,并设计位姿推理算法确定出了其末端的位置和方向,具有无需学习、可基于分割图实时估计等优点。最后,实现了该算法,并验证了其有效性。综上,本文实现了一个新颖的实时高精度手术器械分割网络和一个无需学习的实时手术钳末端位姿估计算法,对预警系统设计等相关研究具有很强的实用价值。
其他文献
随着发光二极管的迅速发展,高发光率、低功耗、长寿命、低成本的LED光源广泛应用于家居照明、交通指示,广告显示等领域。在智能交通领域,基于LED的可见光定位技术能够利用现
随着数字媒体技术的发展以及移动智能设备的普及,人类已经全面进入信息化时代,图像也因此成为了人类以及机器汲取信息的主要方式。但由于成像设备的硬件限制和外界环境的干扰
禁止双重危险规则是一项非常古老的刑事诉讼基本原则,其最初的基本含义是指任何人都不得因同一项罪行而受到两次以上的刑事追诉,审判和定罪处罚。这一规则的运用平衡了惩罚犯
随着网络媒体的飞速发展,网民们利用网络不断沟通交流,使得网络语言也迅速发展起来,逐渐成为了人们不可缺少的一部分,也成为了研究者们研究的对象。不可否认的是,网络语言的发展极大地丰富了汉语言的表达,促进了汉语语言文字的发展,但同时也应当注意到,网络语言中充斥着一些不规范、不和谐、不健康的内容,例如,网络语言中的错别字、语言暴力、侮辱、色情等问题。因此,如何正确地分析网络语言中存在的问题,并及时检测、跟
随着法治进程的不断加快和高等教育的蓬勃发展,学生拿起法律武器捍卫自身合法权益与高校努力追求自主办学、学术自治之间的矛盾有愈演愈烈之势。从1998年第一起高校学位授予
随着云计算技术的飞速发展以及云系统的低成本、灵活和数据快速检索等诸多优势,越来越多的数据用户开始使用云的存储和搜索功能去共享大量数据。这样可以免去数据所有者自身
文化与科技融合主要是通过科技手段将资源形态的文化转化成价值形态的文化产品,它是传统文化产品创新和当代文化传播的重要路径。研究促进文化科技融合法律制度,对弘扬中华优
对于视觉功能相关的基因和药物筛查对于探究视觉功能障碍机理及修复手段具有重要意义。而对于基因和药物的筛查通常依赖于实验动物模型。斑马鱼由于其繁殖速度快,发育周期短,
随着我国互联网技术的发展,如今已走在世界前列。互联网经济在带来巨大经济利益的同时也导致互联网经营者之间不正当竞争事件频发。但我国当前并没有相关规制互联网不正当竞
在当前的工业界,GPU程序的开发和维护已经成为了重要的新平台。机器学习的任务在GPU平台上能够获得更加优秀的效果。CUDA(Computer Unified Device Architecture)是n Vidia开