论文部分内容阅读
消化内镜微创手术器械交互安全预警系统旨在对多器械消化内镜微创手术中手术钳器械操作力的安全性进行实时监控。系统主要由肿瘤分割、手术器械分割、手术钳末端位姿估计、手术钳与软组织交互模型设计等模块构成,其中,手术器械分割与手术钳末端位姿估计是预警系统的基础和关键。然而,目前主流的语义分割网络,对内镜手术器械分割的研究较少,且大都过于片面地强调预测精度或者预测速度,缺乏对网络整体分割性能的有效平衡。另外,主流的目标估计算法大都基于CNN网络进行设计,仅能预测出表示目标整体位置的规则矩形估计框,缺乏对目标方向信息和末端位置信息的估计。而且,目前的位姿估计算法大都基于关键点检测算法设计,需要费时费力的数据集标注。首先,本文基于模拟数据集设计了一个实时高精度器械分割网络。首先搭建了一个多器械内镜微创手术模拟平台模拟手术中器械交互,然后采集、标注和增强了数据,制作了模拟数据集。最后,基于轻量级特征提取网络、注意力机制、特征金字塔网络等高性能模块设计实现了一个性能达到85%m Io U以上和40 FPS以上的实时高精度器械分割网络。其次,本文基于公开的MICCAI竞赛数据集验证了网络分割性能,并基于该数据集对网络进行了边界损失函数、横向连接注意力机制、门机制特征选择等新颖设计,进一步提升了网络分割性能,在该数据集三类分割任务中实现了62.49%m Io U和53.90 FPS的突出性能,优于大多数主流分割网络。最后,本文分析了基于关键点检测去估计目标位姿算法的不足,并基于高精度分割图设计了一个高效的手术钳末端位姿估计算法。首先基于关键点检测算法和分割网络,设计了一个能够同时分割器械和估计手术钳位姿的多任务学习网络,并分析了其优缺点。其次,为了去除标注数据集的负担,本文充分利用器械分割图中丰富的语义信息,设计了一个基于高精度分割图的新颖手术钳末端位姿估计算法。该算法通过检测出包含手术钳的最小外接矩形框,并设计位姿推理算法确定出了其末端的位置和方向,具有无需学习、可基于分割图实时估计等优点。最后,实现了该算法,并验证了其有效性。综上,本文实现了一个新颖的实时高精度手术器械分割网络和一个无需学习的实时手术钳末端位姿估计算法,对预警系统设计等相关研究具有很强的实用价值。