论文部分内容阅读
随着人工智能的兴起,在医学图像处理方向上,数字医疗技术和智慧医疗技术开始步入医疗诊断系统中,应用计算机视觉技术取得了新进展。医学图像的信息丰富度和图片清晰度,一直是临床医生诊疗的关键判别依据。现有的医学成像方式未充分利用功能成像及解剖成像的优势,通过融合技术将两者有效结合,最大化的呈现患者病理信息,辅助医生诊断病情,有效弥补单一模态下医学图像信息缺失的缺陷。
单模态的医学图像特征较简单,有效信息较少;融合后的多模态图像更加完备,为医疗诊断供应更有效的信息。目前疾病种类呈现多样化且复杂的趋势,这促使对医学诊断技术的要求进一步提高。传统医学图像融合算法存在特征点模糊和融合伪影,使得融合结果精确性不高、细节特征不显著。针对融合伪影和医学图像训练数据量不足的问题,本文进行了如下的研究:
(1)针对融合伪影问题,运用区域拉普拉斯金字塔(Local Laplacian Pyramid,LLP)结合卷积神经网络(Convolutional Neural Networks,CNN)的医学图像处理算法,简称LPCNN融合算法。首先,将源图像通过LLP进行解析;其次,利用结构风险最小化来改进CNN网络,通过设置步长实现卷积层的降维;然后,不断迭代优化生成最优权重W,确定卷积神经网络的各项参数,指导图像进行融合;最后,利用LLP逆向重建生成融合后新图像F。通过仿真发现,该算法解决了传统融合医学图像算法产生的融合伪影问题,融合图像效果较佳,为精确定位病灶及手术治疗提供有利的图像信息依据。
(2)针对数据量不足问题,运用改进的生成对抗网络(Generative Adversarial Network,GAN)结合迁移学习(Transfer Learning)来实现医学图像数据增强的融合方法。由于医学图像库存量不足,故本文利用迁移学习将可见光图像与红外图像训练生成的GAN网络参数迁移到改进的CNN网络中。首先,操纵源域中大量的红外图和可见光图构造出预训练网络模型;其次,融合过程中提取代表性的语义信息,学习融合图像与源图像的特征映射,转化为网络参数;然后,通过目标域中少量待测CT和MR图像来进行微调模型,成功将参数从GAN模型中迁移到改进的CNN模型里。最后,利用权重W引导待融合的CT与MR图像,通过LLP逆向重建得到高质量新图像。通过仿真实验发现,本文算法在克服伪影的情况下,解决了医学图像训练数据量不足的问题,较好地保留了原图片的边缘、纹理等信息,融合效果较佳。
单模态的医学图像特征较简单,有效信息较少;融合后的多模态图像更加完备,为医疗诊断供应更有效的信息。目前疾病种类呈现多样化且复杂的趋势,这促使对医学诊断技术的要求进一步提高。传统医学图像融合算法存在特征点模糊和融合伪影,使得融合结果精确性不高、细节特征不显著。针对融合伪影和医学图像训练数据量不足的问题,本文进行了如下的研究:
(1)针对融合伪影问题,运用区域拉普拉斯金字塔(Local Laplacian Pyramid,LLP)结合卷积神经网络(Convolutional Neural Networks,CNN)的医学图像处理算法,简称LPCNN融合算法。首先,将源图像通过LLP进行解析;其次,利用结构风险最小化来改进CNN网络,通过设置步长实现卷积层的降维;然后,不断迭代优化生成最优权重W,确定卷积神经网络的各项参数,指导图像进行融合;最后,利用LLP逆向重建生成融合后新图像F。通过仿真发现,该算法解决了传统融合医学图像算法产生的融合伪影问题,融合图像效果较佳,为精确定位病灶及手术治疗提供有利的图像信息依据。
(2)针对数据量不足问题,运用改进的生成对抗网络(Generative Adversarial Network,GAN)结合迁移学习(Transfer Learning)来实现医学图像数据增强的融合方法。由于医学图像库存量不足,故本文利用迁移学习将可见光图像与红外图像训练生成的GAN网络参数迁移到改进的CNN网络中。首先,操纵源域中大量的红外图和可见光图构造出预训练网络模型;其次,融合过程中提取代表性的语义信息,学习融合图像与源图像的特征映射,转化为网络参数;然后,通过目标域中少量待测CT和MR图像来进行微调模型,成功将参数从GAN模型中迁移到改进的CNN模型里。最后,利用权重W引导待融合的CT与MR图像,通过LLP逆向重建得到高质量新图像。通过仿真实验发现,本文算法在克服伪影的情况下,解决了医学图像训练数据量不足的问题,较好地保留了原图片的边缘、纹理等信息,融合效果较佳。