婴幼儿脑部疾病的种类与发生率持年递增,其中孤独症谱系障碍（ASD）与急性胆红素脑病（ABE）是婴幼儿阶段两类极具代表性的脑部疾病。在ASD诊断领域,由于其复杂的临床表现和不确定的发病机制,目前在临床实践中基于行为特征和磁共振成像（MRI）的诊断十分困难。此外,在ABE诊断领域,由于无法直接检测婴儿大脑内胆红素的实际含量,早期也难以发现具有急性脑损伤风险的新生儿。而在基于MRI的ABE人工诊断领域,部分研究发现正常髓鞘化的新生儿也有类似于ABE的异常信号,因此基于MRI的诊断十分棘手。近年来,已有大量研究人员注意到利用人工智能技术辅助脑部疾病诊断。不幸的是,由于婴幼儿阶段的脑部MRI获取困难,现有的大多数的研究仅限于成人。为了解决上述挑战,我们将深度学习应用于婴幼儿脑部疾病诊断。具体来说,本文将基于以下两项研究内容展开:1)基于临床文本和MRI协同学习的急性胆红素脑病诊断;2)基于结构磁共振（s MRI）的可解释性学习用于孤独症谱系障碍分类。在第一个基于深度学习的婴幼儿脑部疾病诊断应用案例中,我们提出了一种多模态融合策略用于ABE诊断,将不同序列的MRI数据与临床文本数据相结合,让模型自动学习不同数据源之间的互补特征。为了评估所提出的方法,我们首先构建了一个包含800例受试者样本的ABE数据集,然后基于该数据集进行了训练/测试（80%/20%）。具体来说,每一例样本由三种不同序列的脑部MRI和相应的临床文本描述数据组成。我们通过多组实验以探索最佳融合策略及论证结构设计的合理性。结果表明,我们的方法达到了0.78的准确率、0.46的灵敏性和0.99的特异性,优于单纯应用MRI数据或临床文本数据作为输入的方法。这项工作表明,临床表型数据和医学图像数据的融合可以显著提高自动诊断模型的性能。此外,在第二个基于深度学习的婴幼儿脑部疾病诊断应用案例中,我们提出了一个基于s MRI训练的可解释学习方法,将注意力机制与3D-Res Net相融合用于ASD诊断。该模型基于孤独症脑成像数据交换中心（ABIDE）的s MRI数据进行训练和测试,5倍交叉验证的结果显示模型的准确率达到了75%。其次,通过应用梯度类激活映射显示模型分类过程中所强调的部分以了解决策过程。模型可视化结果显示,在大脑的海马体、胼胝体、丘脑和杏仁核附近区域存在高信号,这表明了ASD患者大脑中可能存在异常区域。这一可视化结果证实了前人研究的一些猜想。值得注意的是,本研究的贡献并不局限于ASD诊断领域,它还提供了一种有前景的基于可视化的深度学习方法来探索大脑解剖学异常,以协助脑部疾病研究。