医学图像语义检索的研究正成为医学图像检索研究的新热点,也是医学迫切需要解决的问题,它是实现医学图像理解的多学科交叉的研究课题,融合了医学、图像处理、模式识别、计算机视觉、机器学习、数据库与人工智能等研究领域。图像语义检索的难点和重点在于语义建模和语义相似度度量,而图像语义建模的核心任务是从反映图像内容的低层视觉特征提取出隐含的、预先未知的高层语义,弥补“语义鸿沟”问题。本文针对医学图像的特点和医学临床的需求,提出了基于混合贝叶斯网络(hybrid Bayesian network, HBN)的医学图像语义建模的方法,分别研究了医学图像语义的多层统计模型、对象语义和高级语义的获取以及语义相似度度量等内容,并将以上方法应用于星形细胞瘤恶性程度的预测,设计了星形细胞瘤恶性程度的语义模型和检索系统。本论文的主要研究成果及其创新点包括:1、提出了引入条件高斯模型来模糊离散化连续变量的基于混合贝叶斯网络的医学图像语义建模的方法(1)考虑到医学图像的特点以及贝叶斯网络的性能和优势,提出了利用贝叶斯网络来对医学图像的语义建模,但传统的贝叶斯网络只适用于离散变量,而自动提取的图像特征往往是连续的,为了可以在贝叶斯网络中使用连续变量,并考虑到医学图像特征的模糊性和不确定性,提出了使用条件高斯(conditional Gaussian, CG)模型对连续的视觉特征进行模糊离散化处理,然后嵌入到贝叶斯网络中,建立仅利用低层视觉特征的智能模型BN-CG-Low。仿真实验结果表明,该模型可以很好地描述图像的内容,从低层视觉特征自动提取高层语义,有效解决“语义鸿沟”问题,并提供了符合医学习惯的知识表达。(2)在第1(1)点的基础上,考虑到贝叶斯网络的数据融合能力,为了更完整地描述图像内容和提高语义提取的准确率和查全率,提出了融合低层视觉特征和中层语义的语义模型BN-CG,通过与BN-CG-Low的比较实验,BN-CG可以进一步提高准确率和查全率。2、给出了基于BN-GMM的医学图像的三层语义模型医学图像的诊断中,医生的思维是着重病变区域的性质和特点,然后综合考虑从不同角度对病变区的理解和判断,最后得出病症语义。从这个特点出发,我们提出了首先利用高斯混合模型(Gaussian mixture models, GMM)对病变区域进行模糊识别,实现从视觉特征到对象语义的映射,然后利用贝叶斯网络融合各种从不同理解角度得到的对象语义,从而建立一个基于BN-GMM的医学图像三层语义模型。与使用K近邻分类器(KNN)代替GMM的BN-KNN相比,取得了更好的精度和语义的可解释性。3、研究了分层的基于语义概率空间距离的语义相似度度量方法在前面所提出的语义模型中,不同层次的语义其重要性是不一样的,语义的概率反映了语义的置信度,这也符合医学诊断的习惯,因此提出了按照语义层次的不同进行分层处理,在每一层分别通过度量语义的后验概率空间距离进行语义相似度的度量。将这种度量方法应用于医学图像的语义检索,取得了令人满意的查询结果。4、设计了基于BN-SVM的医学图像三层语义模型考虑到临床实际中取得大量具有病理结果的医学图像训练样本的困难,很多研究成果表明,在小样本的情况下,支持向量机(Support vector machine,SVM)能取得比GMM更高的识别精度,因此提出了首先利用支持向量机对病变区域进行识别,实现从低层视觉特征到对象语义的映射,然后利用贝叶斯网络融合各种从不同理解角度得到的对象语义(来源于不同的SVM),从而建立一个适用于小样本的基于BN-SVM的医学图像三层语义模型。实验结果表明,与采用K近邻分类器或GMM取代SVM的贝叶斯网络相比,取得了更好的结果。在本文所提供的相同图像样本下,本文所提出的三种方法用于医学图象语义建模,均比以往的嵌入KNN的混合贝叶斯网络有着更高的准确率和查全率。医学图像内容的分层和结构性表达、语义的自动获取、语义相似度的研究为实现能应用于医学临床的不同语义层次的检索提供了条件和基础。