基于实体显微镜成像的图像三维重建算法研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:my_sunday_tongxing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着人工智能和机器视觉技术的快速发展,图像的三维重建已经成为机器视觉领域的热门研究课题,已产生了诸多理论和方法。目前许多图像的三维重建算法通常适用于对大场景成像等纹理细节丰富的场景,但在显微镜应用领域,其主要应用于对平面标本的观测,也有用于观察立体标本的实体显微镜,但局限于光学成像原理成像还是平面的,对立体标本的成像并不能很好观察到标本的三维特征,所以研发面向立体标本成像的三维技术具有重要意义。本文利用实体显微镜对珠宝、电子元器件和矿石等立体标本多角度成像,获得立体标本的显微图像序列,在此基础上进行图像三维重建研究。论文围绕三维重建中各关键步骤展开研究,主要包括:图像预处理、稀疏点云重建、稠密点云重建。具体如下:(1)用多聚焦图像融合的方法对显微图像序列进行预处理。由于显微镜镜头景深范围影响,使显微镜成像过程中无法一次对整个立体标本进行聚焦全视场,导致采集的立体标本显微图像因局部聚焦存在清晰部分和不清晰部分,采用多聚焦图像融合方法来解决显微图像局部聚焦的问题,用多聚焦图像融合方法进行预处理可以很好的解决显微图像存在局部模糊区域的问题。(2)运用基于特征提取的多视图立体三维重建算法对显微图像序列进行稀疏点云重建。针对在实体显微镜应用场景中,珠宝、矿石等立体标本显微镜局部放大观测时存在弱纹理、反光等问题,提出了一种改进的Harris-SIFT匹配算法,以提升对显微图像特征点提取的精度和特征点匹配的准确率。在SFM增量重建过程中利用载物台移动坐标这一先验条件,采用顺序匹配策略进行有序图像序列重建,同时估算新添加图像的相机位姿和恢复三维点;依次将所有图像都重建完之后,利用光束平差法(BA)优化点云模型,最终得到立体标本的稀疏点云。通过实验对比,发现本文算法在弱纹理区域的重建后的点云比较密集,提升了稀疏点云重建的性能。(3)基于深度图融合的方法进行立体标本的稠密点云重建。针对显微镜应用场景下被观测物体整体结构和深度信息缺少,局部区域放大后存在弱纹理的现象,以及传统MVS方法对弱纹理图像深度信息估计误差较大的问题,分析了将PMVS多视图立体匹配算法用于估算图像深度及预测深度图重建稠密点云的方法,提出使用基于深度残差网络的全卷积神经网络方法对采集的显微图像序列进行深度估计和预测,并用预测的深度信息对MVS方法估计的深度图进行修正,使用修正后的深度图进行稠密点云重建。通过实验对比验证了在实体显微镜应用场景下重建的物体结构完整性更好和有更加稠密的三维点云,方法具有很好的鲁棒性。(4)建立了本地立体标本显微图像数据集。由于现有显微图像数据集大多都是针对平面标本的成像,鲜有针对立体标本的成像,本文针对立体标本成像建立了立体标本显微图像数据集。用基恩士超景深三维显微系统VHX-6000拍摄了珠宝、矿石等立体标本的不同颜色、形状、材质的多视角显微图像超过1000张,构建图像数据集。
其他文献
图谱理论是代数图论的一个非常活跃的研究领域,是处理离散数学问题的有力工具,在量子化学、统计物理学、计算机科学、通信网络等领域中有着广泛的应用.它主要利用矩阵论和图论的理论和方法,通过图的矩阵,建立图的谱与图的拓扑性质之间的联系.在图谱理论的研究中,关于图的谱的极值问题和排序问题是两个非常重要的研究课题.本文研究图的扩展邻接矩阵的最大特征值(又称为图的扩展邻接谱半径).图G的扩展邻接矩阵定义为Aex
学位
Hfq(Host factor for Qβ)蛋白作为细菌的全局转录后调控因子,在细菌的运动、趋化、致病和群体感应等中发挥着重要的调控作用。本实验室之前的研究发现,编码Hfq的基因(hfq)缺失导致十字花科黑腐病菌(Xanthomonas campestris pv.campestris,Xcc)的涌动能力几乎丧失,但机制不明。转录组数据显示,4个推测与运动相关的基因(fim T、pilV、pil
学位
网络系统大小的增大会增加系统中网络节点发生故障的风险,所以评估网络系统的容错能力和对故障节点进行修复或更换是必要的。评估网络系统容错能力的指标有经典连通度、额外连通度、连通分支故障诊断度、故障块连通度等。要对故障节点进行修复或更换就必须要先找出网络系统中的故障节点,用于故障诊断的策略有t-故障诊断策略、t/s-故障诊断策略、t/t-故障诊断策略和t/k-故障诊断策略等。此外,选择特定的诊断模型来识
学位
沉香是沉香属木质部组织及其分泌物共同组成的天然混合物质,是一种“药香”两用材,经济价值高,用途广,可用于制药、香熏、香水、日化产品等。沉香的形成受外界胁迫,次生代谢物的合成及积累,为一个偶然、长期的过程,致使野生沉香数量稀少,难以满足沉香市场的需求。目前,已有通过人工方法诱导沉香形成,但效果不佳,沉香产量低,质量差,且存在被重金属污染的风险。生物结香法被誉为最有前景的结香技术。相关研究表明,自然感
学位
直接甲醇燃料电池(DMFC)因其配置简单、能源可再生、便于储存和能量密度高等优势而逐渐成为电力电子领域的替代电源之一。然而,适用于甲醇催化氧化反应(MOR)的阳极电催化剂的选择是有限的,因为选择过程中我们必须要考虑增强甲醇氧化活性和减少CO中毒的阳极电催化剂,以进一步改善DMFC性能。铂基催化剂被证明是甲醇解离吸附最活跃的金属催化剂。然而,低温下甲醇电氧化过程中产生的CO很容易使铂中毒。此外,铂金
学位
网络技术在21世纪进入飞速发展的快车道,出现了各种各样的网络应用,如云计算、5G网络和物联网等技术。这些技术使我们的生活方式变得更加便利,然而随着网络环境日趋复杂,保障这些网络的安全性也成为一个重要问题。数字签名作为一项关键的网络安全技术,为保护信息安全提供了重要支撑。在传统的基于公钥基础设施的数字签名方案中,一般需要使用单独的证书验证用户身份与公钥之间联系的真实性。在这类系统中,由于证书管理比较
学位
多模态生成是跨越多种模态进行表示、对齐、推理、整合和转化等操作的生成任务,是人工智能领域中极具科研价值与应用价值的研究方向,近年来受到了计算机视觉和自然语言处理等多个社区的关注。作为一个典型的多模态生成任务,视觉叙事非常具有挑战性且尚未被完全开发,其定义是给定一组有序的图像,根据图像信息生成与图像内容相关、语句通顺且具有逻辑一致性的故事文本。在前人的工作中,一个通用的范式是使用预训练卷积神经网络作
学位
单输入多输出DC-DC变换器是一种很有前景的开关电源拓扑,在电动汽车、便携式设备等需要多个稳压电源的领域中广泛应用。单输入多输出DC-DC变换器采用单个电感或耦合电感来产生多个输出,相较于单输入单输出DC-DC变换器,它具有低成本、高效率和高功率密度等优点。然而由于多路输出只使用单个电感或耦合电感,输出支路间的交叉影响是不可避免地,严重时可能破坏系统稳定性,因此为减小单输入多输出DC-DC变换器输
学位
感应电机(Induction Motor,IM)凭借结构简单、制造方便、成本低、运行可靠、坚固耐用并且在恶劣的工况下仍可应用等优势,被广泛应用于电动汽车以及高铁等现代电气化交通领域中。感应电机系统的高精度、高性能控制是当前电机系统控制的主要研究方向。模型预测控制(Model Predictive Contro,MPC)具有原理简单、易于实现、动态响应快等特点,而且能够有效地处理非线性、多变量、多约
学位
肝脏是人体腹部最大的实体器官,其小病灶种类很多,肝病的发生率很高,严重威胁着人类的健康和生命。肝病的诊断与防治一直是中国当前临床治疗科研的重点。近年来,计算机断层扫描(Computed Tomography,CT)已成为诊断和治疗肝病使用最广泛的医学影像学方法。由于肝脏的大小随性别、年龄和身体形状而变化,并且小病灶与周围正常肝组织之间的边界不明确,此外,小病灶的大小、外观多样性和不均匀的密度都加大
学位