通常传统中医通过“望、闻、问、切”四诊合一疗法分析病性,判断病因。舌头与人的五脏肺腑密切相关,人体中一些生理变化情况能通过舌象映射出来,因此舌诊作为传统中医望诊中的一个重要分支,一直受到医学上的重视。随着数字图像技术和科技的飞速发展,中医舌诊客观化的研究也取得了一定的进展。目前的舌诊客观化研究一方面是针对完整舌图像进行的研究,无法反映出舌象不同区域与疾病的关系;另一方面数据集较小,能判断的疾病非常有限。本文的目的是对舌图像中的一些重要部位比如舌尖等作为我们感兴趣的区域进行探究。寻找出具有积极指导意义的特征并给出病理分析结果。本文基于舌图像中的感兴趣区域进行多种特征提取与优化,然后搭建一棵能给出多种疾病诊断的分类树。除了传统的特征提取,我们还使用了改进的PCANet网络进行特征提取然后完成多分类操作。本文对感兴趣区域在CIExy色度图中建立了舌象颜色空间,基于该颜色空间建立了9种基色,通过计算像素点与基色之间的欧式距离对颜色特征进行量化。另外本文对红刺特征的提取方法进行了探究。本文先用区域生长方法获取包含红刺信息的二值图像,再用Gabor滤波器进行红刺特征向量的提取。这种方法不仅很好的消除光照的影响,还保留了红刺的位置信息。实验结果表明基于感兴趣区域所提取的特征在准确率上取得了不错的结果。本文利用前期的特征提取与选择结果进行了健康与疾病的相关分析,包括健康与每一种疾病的二分类和构建分类树实验。另外,为了探究最适合本数据集的分类算法,我们利用多种分类器进行了对比实验,并选择实验结果最好的那个分类器所得的分类模型。最终我们搭建了基于感兴趣区域的疾病分类树,糖尿病、肺癌、慢性肾脏病等类别能以较高的正确率区分出来。虽然我们提取的传统特征具有一定的积极意义,但信息不够全面,舌象可能含有一些未知的信息,为此我们采用了PCANet特征级联网络对感兴趣区域的舌象块进行卷积操作并探究了不同分类器下基于改进的网络对实验结果的影响。为了证明PCANet特征级联方法的有效性,本文将PCANet特征级联提取的特征和手工提取的特征以及一些深度学习方法进行对比实验。实验结果表明在正负样本均衡的情况下手工特征和PCANet特征级联方法得到的特征进行融合后,部分疾病的灵敏度和不进行特征融合相比有明显提升并取得不错的结果。