基于双目显微影像的显微手术器械关键点检测研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:JeanieDana
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当下我国依旧是全球视觉损伤患者最多的国家之一,随着全社会老龄化的加剧,全国眼疾患者的人数逐年增加,严重地影响了中国的全民健康水平,也加剧了社会与家庭的压力,但由于眼睛结构过于精细微小,手术操作较为困难,所以需要针对眼底手术过程中,手术视野小,手术器械难以精准感知的问题,研究一种基于双目视觉的手术器械关键点位置检测的方法,该方法主要包括基于显微影响的手术器械关键点定位和建立在体视显微镜上的手术器械关键点三维坐标计算。首先,为了得到手术器械末端关键点的二维坐标,综合堆叠沙漏网络与HRNet网络这两个经典关键点检测网络的特点,设计了一种基于热图回归的堆叠高分辨率网络模型,用于识别手术器械末端关键点的位置,并在已有的数据集上测试了该网络的精度。之后为了提高该网络对关键点的检测精度,设计了一种基于自蒸馏高分辨率网络知识蒸馏框架,并选择了相应的损失函数以及训练模型用于网络的蒸馏训练。通过知识蒸馏操作,将网络的深层特征传递给浅层的同时将教师网络的能力迁移给学生网络,从而提升网络的整体性能,并在自蒸馏的基础上融合离线蒸馏的方法设计了一种混合蒸馏的方案训练该网络,进一步提升了网络的精度,实现高精度的末端关节点定位。针对眼底手术所用的体视显微镜系统,分析了现有相机系统的成像模型,并证明了更加符合体视显微镜系统模型的远心相机系统,根据远心相机模型的成像特点,在基于二维标定板标定算法的基础上,设计了基于手术机器人末端关键点的远心相机模型标定方法。最终在已有的显微手术平台上采集了相应的数据集并对网络进行训练,将关键点识别网络与远心相机模型标定方法结合起来,得出了一种在线相机标定的方法,并进一步通过实验测试了该方法在已有体视显微镜平台上的测量精度,证明了该方法在日后应用中的可行性。
其他文献
持之以恒贯彻落实中央八项规定精神,是高校纪委的一项重要工作。本文以高校纪委如何贯彻落实中央八项规定精神为切入点,从制度安排及实践机制的角度出发,为高校纪委更好地贯彻落实中央八项规定精神提供建议。
期刊
在科学技术越来越发达的今天,军事方面的侦查技术也紧跟时代发展,变的越来越科技化,战场上的多数军事装备自身都会带有热源,热红外探测技术的普及导致简单的视觉伪装并不能满足军事伪装的要求,因此如何做到在热红外探测技术下的热红外伪装成为现代科学研究的重点。基于热致变色、光致变色和电致变色等材料的动态伪装技术存在变色次数有限、变色速度慢和性能不稳定等缺点,存在着动态适应环境变化的局限性。微流控系统由于体积小
学位
传统两指夹持器虽然制造简单、价格低廉,但难以满足当前机器人多场景、多要素的应用需求;而新兴的仿生灵巧手虽然自由度高、应用场景广,但其却制造、维护成本高昂,难以在实际生产生活中广泛使用。因此兼具灵活性、泛用性等优点,并且控制简单、成本低廉的三指灵巧手成为机器人末端执行器的重要选择之一。课题的研究目的是为一种新型的可变刚度三指灵巧手设计电气系统方案,硬件方面完成了包含灵巧手实时控制器、伺服驱动器和传感
学位
机器阅读理解作为问答系统可选技术方案之一,采用多层网络来充分理解文本语义,深层次挖掘问题和段落之间的联系,精确地返回答案。随着机器阅读理解的不断发展,基于机器阅读理解的问答系统返回答案的准确率接近人类专家水平,目前已广泛应用于智能教育、问答助手等领域。在石油勘探领域工作的过程中,遇到作业问题,需要作业者从海量的非结构化文本中整理出最佳答案,然而目前的机器阅读理解模型无法对海量的段落信息进行有效处理
学位
分数阶微积分理论很早就产生了,由于它在实际工程和科技领域有着举足轻重的位置,所以它的理论研究得到了有效的发展。另外,作为一种特殊的运动形式,混沌现象在许多领域都得到了广泛且深入的研究。将两者结合的分数阶混沌控制系统,由于其控制精度高,且同步控制的复现效果好,广泛应用于保密通信领域。伴随着计算机技术的高速发展,催化了学者们对分数阶混沌系统的同步与控制的研究热情。目前,关于分数阶混沌系统的同步策略研究
学位
在实际的工业生产中,由于大多数的系统都存在着非线性和时变特性,因此系统的动态特性往往很难用具体的数学模型来描述,这就导致在对实际的被控对象进行建模的时候会产生一定的偏差,从而增加了系统分析的难度。线性参数变化(Linear Parameter-Varying,LPV)系统作为一类特殊的线性系统,可以用来描述动态系统中存在的非线性和时变特性。因此,随着工业数字化转型和通信网络的发展,在网络环境下进行
学位
移动机器人在机器人学中占据很大的比重。近年来,其建图,定位方法已成为各大科研团队热门研究方向之一。由于移动机器人成本低,便于维护,量产等原因,在反恐防暴,人质解救,抢险救灾等危险任务中的环境探查方面得到了广泛应用。在感知模块的选择上,选择被动传感器作为感知模块更具有隐蔽性;同时针对任务变数很大,情况紧急,空间狭小的特点需要机器人尽可能具备灵敏机动的能力,所以也需要机器人在较高速移动和急速转向时时仍
学位
轴承能够降低轴体与旋转机械底座之间的摩擦系数,提高旋转机械设备的工作效率。在机械设备实际工作生产的过程中,轴承设备常在超负载和超高温的环境下运行,容易出现故障,导致设备整体瘫痪,无法工作,因此需要轴承故障检测技术,及时判别轴承的故障状态,根据判定结果进行针对性地保养和维修,减少因轴承事故对生产和生活造成的影响。对于轴承运行状态的检测一般是通过获取轴承运转时产生的振动信号,从中提取出包含故障信息的数
学位
网络技术与现代工业生产过程之间的交叉融合日益加深,使得众多的控制系统研究领域变得更为智能化、复杂化。中立时滞系统作为一类具有广泛代表性的系统,可以描述很多的实际工业生产过程,如分布式网络无损传输、双级溶解槽、涡轮喷气发动机等,所以有关该系统的研究近年来得到了广泛的关注。然而,在网络环境中通信资源的限制下,系统数据在传输过程中容易产生时延和数据丢失问题从而引发系统的故障,这些故障会不可避免的对系统安
学位
随着智能制造进程的推进,工业机器人以工作空间大、灵活性高、成本相对较低等优势,近年来在自动生产加工领域中越来越受到欢迎。对于低切削力、大尺寸的轮毂磨抛加工,工业机器人有着很大的应用潜力。为了解决机器人应用于轮毂磨抛中所遇到的高灵活性需求和高绝对定位精度需求,本文主要进行了以下工作:本文以自研的DMJ70轮毂磨抛机器人为研究对象,该机器人五轴采用了偏置手腕结构,能够进行360°的旋转,提高了机器人的
学位