皮肤黑色素肿瘤是当前世界上最常见的重症,是早期被发现可治愈一种疾病。据不完全统计,每年有数千人不幸患病。目前,黑色素瘤的主要诊断方法是基于皮肤镜的人工目视观察,但受医师医技水平和经验的影响,诊断准确率约有75%～80%左右,且诊断效率低。因此,开展黑色素瘤早起发现和精确诊断具有现实意义。论文比较研究了国内外针对黑色素瘤皮肤镜图像的识别诊断方法,提出了一种融合元数据和图像数据的多模态神经网络算法。元数据是通过感知机学习模型提取患者的基本信息、病灶采集部位、图像的分辨率和数量的特征向量;图像数据是通过CNN模型提取的特征向量,把两个特征向量进行融合映射获得疾病分类结果,用于黑色素肿瘤早期辅助诊断应用。论文收集整理了ISIC 2019和ISIC2020的混合数据集共58457条样本数据,训练样本和测试样本按照4:1比例进行划分,分别采用本文提出的多模态算法和卷积神经网络方法进行对比实验研究,结果表明,使用本文算法构造的黑色素肿瘤辅助诊断分类模型能够将AUC值提升1%左右,具有一定的使用价值。在此基础上,论文设计了自适应多模型融合算法,该算法可以设置融合模型数量,通过穷举法获得最佳分类结果的融合模型。运用ISIC 2019和ISIC2020混合数据集进行对比实验,分析融合多个模型数量对黑色素肿瘤辅助诊断分类性能的影响。实验结果表明,使用11种模型融合的最佳模型使得黑色素肿瘤分类精度AUC值比最佳的单模型提升0.7%左右,但是推理时间会增加9倍。灵活使用自适应模型融合算法得到的模型,可以提升黑色素肿瘤早期辅助诊断效率。在研究上述两种算法基础上,设计实现了一个黑色素肿瘤智能辅助诊断系统,具有用户注册登陆、皮肤镜图像数据上传、深度学习训练、分类结果推理、诊断结果展示五大功能。测试结果表明该系统具有一定的使用价值。