本文研究基于卷积神经网络的传统中医舌象诊断算法。论文使用目标检测、语义分割和图像识别卷积神经网络相结合的方式,实现将中医舌象诊断结构化和客观化。论文首先着手研究中医舌象诊疗理论,学习舌诊相关知识,掌握舌象诊断方法,为之后舌象诊断标准化打下基础。本文依照中医理论将舌象划分出舌色与舌质两个方向。从舌色角度出发,将舌色归类出青紫舌、绛红舌、淡红舌和淡白舌。从舌质角度出发,将舌质归类出裂纹苔、芒刺苔、滑腻苔、干燥苔和薄苔五种症状。对应舌色与舌质,均可依照明确清晰的评判标准,推断出人体可能出现的各种病理。有了此标准,就可以通过现代图像处理技术,使用计算机对舌象的舌色与舌质进行识别与分类,将识别结果依照中医舌诊的病性和诊断关系得出诊断意见,从而完成舌象诊断。其次,本文完成从舌体定位、舌体语义分割、舌象特征识别到最后客观化诊断共四个步骤的具体舌象客观化诊断方案设计。并按照各步骤需求进行相关的可行性研究,针对舌象提取的各个过程给出了详细的软件设计与改进方案。给出了基于Yolov5的舌体定位方案。舌体定位环节使用Yolov5对舌象样本中的舌体进行准确定位并标注,将舌体区域进行分割,去除大部分无效背景;确定了基于UNet的舌体语义分割方案。舌体语义分割旨在彻底去除舌体轮廓外的所有背景干扰,这里使用本文提出的基于Res Net结构和Se LU激活函数改进的UNet对舌体进行语义分割,精确提取舌体部分;使用了多任务学习VGGNet进行舌象识别和分类。识别舌质使用硬共享连接的多任务网络,使用软共享将舌质和舌色网络连接搭建舌象特征识别多任务网络;在客观化诊断阶段基于由中医诊断案例总结出的人体病性诊断关系表,将识别得到的舌色与舌质与其对应,得到对应的人体症状,并结合症状给出诊疗意见。最后,对以上各步骤功能进行对接,搭建完整舌象诊断系统。使用标准测试集测试每种方法的准确性和有效性;通过多方法比对,寻找改进方案,对所选方法进行改进研究;将各方法进行融合,去除不必要的数据处理过程,简化舌象诊断整体结构。经测试,本文使用Yolov5对舌体定位的召回率为99.331%,m [email protected]为99.493%;使用优化后的UNet舌体语义分割的准确率为99.298%,m Io U为95.873%;多任务VGGNet舌象特征分类中关于舌色的识别准确率相比单任务网络也有明显提高。