近年来,随着人工智能和机器视觉的发展,多模图像的机器学习分类和检测在临床医学辅助诊断领域获得了长足的应用。但由于医学图像成像质量不高,边界模糊;标记样本不足,训练样本缺乏;多模图像融合困难等原因,使得其医学图像分类在准确度、泛化能力以及系统鲁棒性等方面的问题日益突出。一些学者从深度学习的网络模型和特征融合方面对多模医学图像分类进行了研究,这些研究一定程度上提升了分类性能,但仍然面临一些关键问题需要解决,包括基于聚类的特征级多尺度超像素分割中的尺度数目确定的问题,特征级融合分类中高维数据多特征的相关性表示问题,以及像素级融合分类中多尺度分解层次和融合规则的优化设计问题。因此,研究多模医学图像的机器学习分类方法仍是一个富有挑战性的课题。本文研究了像素级融合和特征级融合机器学习分类的相关技术。针对上述问题,着重从多像素融合和多特征融合分类方面,研究相应的基于聚类分析的多尺度超像素分割,面向小样本的多特征直推分类,基于卷积形态成分分析的图像融合,基于非下采样剪切波域的卷积稀疏表示与互信息相关的图像融合等内容。本文主要工作和创新点概括如下:（1）提出了一种基于超图Markov链松弛的聚类学习方法以及相应的特征级多尺度超像素分割方法。该聚类问题被分解为两个子问题,第一个子问题是通过超图模型的Markov链松弛,也就是通过随机游走和扩散映射,自适应优化聚类数目。第二个子问题是通过互信息目标损失函数,让Markov松弛收敛到一个信息损失量较小的有意义的几何结构。在Bra TS13数据集上的实验证明,与经典的简单线性迭代算法、密度峰值聚类、简单图谱聚类相比,基于此聚类方法的多尺度超像素脑肿瘤分割算法能自动确定尺度数目,有更好的多尺度超像素分割性能和稳定性。（2）提出了一种半监督的、特征级的医学图像分类方法,讨论多模态图像的相关性问题。原理是通过直推学习框架统一多模态图像的互补性特征和相关性特征。在Bra Ts13图像数据集的实验结果表明,与半监督多视图距离度量学习算法、基于高阶距离的多视图随机学习方法、拉普拉斯支持向量机算法相比,该方法在标记样本不足的医学图像中更具优势。（3）提出了一种像素级融合及分类方法,即基于卷积形态成分分析和导向滤波的多模图像融合方法。该方法主要关注两个问题,第一个问题是通过导向过滤算子来缓解线性转换的边缘伪影,该伪影通常是在基于多尺度融合方法中因噪声干扰而导致的。第二个问题是提出一种取最大值融合方案来保证稀疏编码的稀疏性。通过对来自全脑成像数据集Whole Brain Atlas的医学图像进行测试,与基于卷积稀疏表示的融合算法、结合形态成分分析的卷积稀疏表示融合算法、以及一个基于导向过滤的空间融合算法相比,所提方法在En、Qe、MI、QAB/F和VIF指标上都有较大的优势。同时,基于此融合图像的分类算法在ROC性能指标上表现得更好。（4）提出了一种像素级融合方法,即NSST域CSR与互信息相关的图像融合方法。该方法主要关注两个问题,第一个问题是NSST变换时的分解尺度,合适的分解尺度有利于在提取足够空间细节的同时,避免高频子带融合时的噪声敏感程度。第二个问题是融合策略的选择,根据区域互信息相关性,在相似区域使用中心像素能量加权平均融合方案,不相似区域使用Laplacian能量梯度最大值融合策略。在Whole Brain Atlas图像数据集的实验结果表明,与近年较新的7种融合方法比较,所提出的方法在主观效果和客观评价指标上都表现了较好鲁棒性。