随着医疗设备的应用在医疗领域的普及以及计算机辅助诊断技术的发展,疾病的辅助诊疗在近年成为了热门研究方向。目前针对各类疾病的病灶检测已取得了较好的辅助诊断结果,然而针对先天性心脏病的辅助诊疗研究较少且具有较大技术型挑战,如先天性心脏病多模态诊疗数据具有多视角特性,疑似病变区域标记获取存在较大困难,使得先天性心脏病的辅助诊疗成为一个多元异构数据处理、多视角学习的问题。针对上述问题,本文结合深度学习与计算机辅助诊断技术对先天性心脏病辅助诊疗技术展开研究。具体研究内容包括:疑似病变区域定位,多视角特征学习以及多模态数据融合,主要贡献如下:(1)针对先天性心脏病灶区域定位难问题,本文将多尺度全卷积网络(SSD检测网络)应用于先天性心脏病病灶检测,并从先天性心脏病病灶的特点出发提出了一种基于refined-SSD的病灶检测网络,通过默认框的调整与连续视频帧图像的输入策略优化了检测网络对于病灶区域的感知能力,进而有效地解决了病灶的精准定位问题。(2)针对先天性心脏病中疑似病变区域分类问题,本文提出了一种基于多视角特征融合的先天性心脏病病灶检测算法,利用先天性心脏病数据的多视角特性进行多视角信息的融合以获得较为全面的特征表示,并用于异常类型病灶的识别,最终实现全方位多视角的病灶区域识别。(3)针对多模态数据处理问题,本文提出一种运动-外观补偿算法用于跨模态数据的融合。先天性心脏病诊断数据中包含血流以及二维结构两种不同模态的信息,直接作为检测算法的训练样本容易引起算法过拟合问题。运动-外观补偿算法能够根据高速血流流动情况对二维结构特征进行加权融合,使得获取的特征更关注于疑似病灶区域的特征信息,为后续检测模型的定位分类提供精细化的特征表示。通过在先天性心脏病数据集上的实验验证表明,本文提出的算法在检测精度上比起传统病灶检测算法实现了更精确的检测效果,进而说明了本文提出的相关算法的有效性。