根据世界卫生组织（World Health Organization）下属的国际癌症研究中心（International Agency for Research on Cancer）2020 年公布的数据显示,乳腺癌是造成女性死亡的最严重病症,男性也有患病的可能,且其发病率逐年上升,患者群体呈年轻化的趋势。对乳腺癌的早期定性诊断,并制定方案及时治疗可以大大降低乳腺癌的死亡率。传统的乳腺癌诊断主要包括组织病理学检查和医生问诊,然而这些方式不仅需要专业的领域知识,而且病理图像的组织结构十分复杂,也没有统一的标准,其结果也极易受到医学专家主观人为因素的影响。近年来,随着人工智能技术的广泛应用,计算机辅助诊断技术为乳腺癌的诊断提供了新的解决方案。深度学习算法在乳腺癌诊断筛查方面获得了广泛应用,已有大量研究将这种方法应用到病理图像以及病历文本的分析领域中。然而,仅使用单一模态的数据对乳腺癌进行诊断的准确率无法满足临床要求。针对以上问题,论文设计了基于多层融合网络的多模态乳腺癌诊断系统,具体工作如下:（1）针对现有乳腺癌数据特征单一且泛化能力较差,论文提出了基于多层融合网络的多模态数据特征提取算法。该模型主要包括三个模块:首先提出了 DenseNetGAT模型提取病理图像特征,该模型对患者每张病理图像之间的结构连续性和相互作用进行建模,保留了图像之间存在的一致性或补偿性的病变信息。其次使用主成分分析（Principal Component Analysis）对结构化电子病历进行数据降维,再用多层感知机（Multilayer Perceptron）进行特征提取,减少数据信息的冗余,降低了模型的复杂度。最后,使用预训练语言模型ClinicalBERT提取患者的病历文本特征,可以有效避免梯度爆炸和损失。通过实验证明,本文所提模型提供了更丰富的特征表示。（2）针对多模态数据融合时,数据内部存在异质性,论文提出了多模态自注意力门（MultimodalAttention Gate）的多模态数据特征融合方法。核心思想是用从其他模态得到的位移向量来调整一个模态的表示,将正在调整的模态称为主模态,将其他模态称为辅助模态。实验结果证明多模态自注意力门可以充分发挥各模态数据之间的互补性,并带来更全面的特征表示和更准确的疾病预测和诊断性能,其诊断准确率达到了93.62%,优于现有的部分模型。（3）设计并开发了一个基于多层融合网络的乳腺癌诊断系统,该系统集成了上述算法,结合临床需求,可以辅助临床医生对乳腺癌进行诊断,提高正确决策的比例,避免不必要的外科治疗程序。使医生及时制定适宜的治疗方案,大大提高了诊断准确度以及效率。