望诊是中医医疗体系中的一个重要组成部分,它是一种非侵入式的、有效的诊断方法。它可以根据人体表征,例如舌头、面部等体征信号,来推断人体的健康状况,这使得基于中医体征图像进行自动化辅助诊断成为可能。另一方面,深度神经网络在图像处理上具有优异的性能,目前被广泛应用于医学图像分析。然而,目前的深度医学图像分析主要集中在CT、病理等西医医学图像上,对于中医医学图像的建模还处于初步发展阶段。同时,由于中医医学图像具有其独特的特点,无法照搬西医医学模型。目前基于深度学习的中医体征图像辅助望诊研究仍存在许多不足:（1）现阶段没有一个系统构建的、高质量的中医体征图像数据集,导致基于深度学习的辅助望诊研究难以开展。（2）现阶段对中医体征图像建模采用的都是通用模型,没有针对中医体征图像的特点进行设计,建模精度仍然不够理想。（3）现阶段基于中医体征图像建模的望诊任务都是针对单个任务,而在实际的临床诊断中的望诊是结合了多个子任务同时进行的,从而得出较可靠且合理的诊断结论。（4）现阶段采集的多中心医疗数据呈现出分布差异,给多中心部署诊断模型带来极大的挑战,也阻碍了智能望诊的广泛推广。本文旨在构建一个统一的、基于深度学习的中医体征图像辅助望诊框架,作为面向中医体征图像辅助望诊的基准模型。本文针对上述“不足”,（1）首先系统构建了一个中医体征图像数据集;（2）然后,根据中医医学图像的特征多尺度的特点,提出能够适应不同粒度的图像的特征提取器——注意力金字塔模型。（3）接着,利用多个望诊子任务间的关系,基于深度多任务的框架对不同望诊子任务同时学习,提出了基于任务耦合性的弹性学习框架。（4）最后,通过领域对齐的方式,利用域间几何结构与图像局部信息,提出基于深度层次化最优传输的领域自适应方法,解决多中心数据领域漂移问题的同时,保持类别间的区分性。本文所提方法在构建的中医体征图像数据集上验证了方法的有效性。同时,在中草药数据集及多个公开数据集上对其方法的有效性与通用性进行了验证,实验结果表明了其有效性。