国际癌症研究机构（international agency for research on cancer,IARC）2020 年发布的最新数据表明,乳腺癌首次正式取代肺癌成为全球第一大癌症。乳腺癌发病率持续上升,但值得庆幸的是,从1989年到2014年,乳腺癌的总体死亡率下降了 38%,这可能部分归因于乳腺癌筛查的持续开展。早期发现、早期诊断、早期治疗可以显著提高乳腺癌患者的生存率。乳腺影像学检查是乳腺癌筛查最重要的检查手段,并且高度依赖放射科医生的经验。以深度学习为基础的计算机辅助诊断（computer aided diagnosis,CAD）可以降低乳腺癌诊断过程中对放射科医生经验水平的依赖程度,提高其对恶性病灶的诊断率,减少漏诊,缩减诊断时间。目前基于人工智能的乳腺影像辅助诊断应用研究集中在乳腺病灶检出及病灶分类,总体来说,检出率及准确率在不断提高,但应用面仍不够广泛。本研究旨在紧贴临床实际需求,寻找乳腺影像筛查与人工智能的结合点,进一步拓展人工智能在乳腺影像辅助诊断中的应用范围。在乳腺癌影像筛查方面,目前有多种检查方法,如全视野数字化乳腺X射线摄影（full-field digital mammography,FFDM）、数字化乳腺断层摄影（digital breast tomosynthesis,DBT）、乳腺超声（ultrasound,US）、电子计算机断层扫描（computed tomography,CT）、磁共振（magnetic resonance,MR）及核医学检查。影像组学（radiomics）和深度学习（deep learning,DL）的兴起为CAD提供了新的思路和机会,让不同模态图像的CAD均获得性能的提升,但在临床应用层面,仍有一系列问题尚未解决。首先,乳腺X射线密度分类存在一定主观性且耗时耗力,由于诊断经验与水平的差异,不同放射科医生之间对乳腺X射线密度的判读存在一定的差异性,尤其是第5版BI-RADS分类中,b类散在纤维腺体类（乳腺内散在纤维腺体密度区域）与c类不均匀致密类（乳腺组织密度不均,可能使小的肿块被遮挡）的分类改为医生主观分类,不再是腺体百分比分类,导致分类的准确率及一致性较差,目前的算法大多针对百分比分类,难以满足临床需求。其次,在乳腺X射线摄影过程中,通常要获得一个乳腺的两个投照体位影像:头尾位（craniocaudal,CC）和内外侧斜位（mediolateral oblique,MLO）图像,因为它们能提供比单一投照图像更全面的诊断信息。在临床上,放射科医生通过观察对应的空间位置和特征相似性来匹配CC位和MLO位图像上的同一感兴趣区（region of interest,ROI）,在腺体遮蔽和乳腺压缩变形的情况下,这一任务的难度通常不低,需要有经验的放射科医生才能准确判断。因此,若能帮助放射科医生识别CC位和MLO位图像上对应的ROI位置信息,对于辅助医生发现和诊断乳腺病灶而言是非常有价值的。此外,微钙化和囊性或实性肿块是诊断乳腺肿瘤的重要特征。在FFDM和DBT上更容易发现钙化,肿块的囊性或实性则通过超声检查来判断更佳。然而FFDM和DBT检查都会给患者带来一定的辐射风险。如果能从超声图像上生成FFDM和DBT图像,可以在一定程度上给放射科医生提供更多的附加诊断信息,从而辅助医生提高诊断的准确率。最后,放射科医生通过观察乳腺X射线图像上肿块的密度、边缘、大小、形态及其伴随征象（如皮肤改变、周围小梁结构改变、淋巴结形态与密度等）对所发现的乳腺肿块做出定性诊断。乳腺肿块的形状一直被认为是预测恶性病灶的最重要的指标之一。另外,肿瘤区域内的密度和质地及邻近肿瘤的正常组织（normal tissue adjacent to the tumor,NAT）也在恶性病变预测中起到重要作用。乳腺肿块的诊断准确率受放射科医生的经验、年限影响,有可能会因为医生的个人经验与诊断水平不足而导致误诊。而利用深度学习对肿瘤及NAT进行联合建模,可以融合有效信息,提高分类性能。本文针对以上问题,运用机器学习及深度学习的方法,开展散在纤维腺体类与不规则致密类乳腺X射线密度分类、乳腺X射线图像双体位ROI匹配、超声图像-DBT图像虚拟生成、联合病灶和边缘区域病灶分类四个方面的研究。一、基于深度学习的散在纤维腺体类与不规则致密类乳腺X射线密度自动分类研究。从第5版BI-RADS对乳腺X射线密度的定义中,我们将4个分类中最难分辨的散在纤维腺体类（b类）、不均匀致密类（c类）单独提出来,基于CNN的方法实现对乳腺密度分类难度较大的b类及c类进行自动分类,并采用迁移学习、集成学习及结果可视化等方法改进模型性能。基于CNN的集成模型敏感度为0.82,特异度为0.96,准确率为0.89,AUC为0.95;使用迁移学习的集成模型敏感度为0.88,特异度为0.98,准确率为0.93,AUC为0.99。CNN集成模型分类的性能和一致性均较高。二、基于BP神经网络（back propagation neural network,BPNN）和 Faster R-CNN的乳腺X射线CC位和MLO位图像ROI对应匹配方法。我们提出一种基于BPNN和Faster R-CNN对乳腺X射线双体位图像ROI进行匹配的方法。与传统的采用直线型或弧线型模型对不同体位图像进行区域刚性匹配的ROI匹配方法不同,本部分研究采用BPNN对弧线型和直线型匹配区域进行组合构建匹配模型,以减小配准面积,配准面积越小,匹配敏感度越高,假阳性（falsepositive,FP）率越低。此外,使用Faster R-CNN定位匹配区域图像上ROI的对应位置,结果显示Faster R-CNN+VGG16在50%和75%重叠时的平均距离误差为4.58 mm,准确率分别为0.87和0.85。与其他方法相比,基于Faster R-CNN+VGG-16的ROI对应定位方法准确率更高、耗时更短。三、基于Dual Attention CycleGAN的超声图像与DBT图像虚拟生成。该章节中,我们提出了一种基于Dual Attention CycleGAN的超声图像至DBT图像生成的办法。该方法构造了一个由全卷积网络作为判别器的体系结构,它预测patch标签而不是传统的数字标签来区分真伪图像。对于生成网络,我们验证了不同的类U-net结构,并在实验性能上采用了 Dual Attention U-net（DA-Unet）,DA-Unet适合于CycleGAN的生成器结构,它可以获得较低的FID（Frechlet Inception Distance）得分:208.7。在放射科医生评价中,DA-Unet与真实DBT的效果相近,准确率为0.83,敏感度为0.71,特异度为0.90。通过客观指标和放射科医生的评价,证明我们提出的方法所合成的DBT图像与真实DBT图像具有一定的可比性。四、基于联合病灶和边缘区域的乳腺病灶分类研究。该章节中,以乳腺DBT病灶为例,采用深度学习和机器学习模型融合的方法,结合病灶和边缘区域信息模拟医生的决策过程。在信息融合后,分类性能获得提高。病灶及边缘区域融合后的AUC高达0.91。通过与医生对比,发现融合模型的性能与中年资放射科医生相当,优于低年资放射科医生,稍逊于高年资放射科医生。而在模型的辅助下,大多数放射科医生的对乳腺肿块的鉴别诊断能力得以提高。本研究对UNet、VGG-16、VGG-19、ResNet-50、DenseNet、SVM 等相关人工智能方法进行应用探索,并应用于解决散在纤维腺体类与不规则致密类乳腺密度分类、双体位乳腺X射线图像ROI匹配、乳腺超声图像-DBT图像虚拟生成及联合病灶和边缘区域乳腺X射线病灶分类等问题。研究结果表明人工智能的强大能力及无限潜力,将在乳腺影像辅助诊断领域继续发挥重要作用。