在临床上,专业医生一般通过主观观察来对医学影像进行评估。这种评估依赖经验积累,存在个体差异。与这种定性推理相比,人工智能擅长在数据中识别复杂的模式,并以自动化方式提供定量评估。将图像理解引入医学领域,为医疗影像生成语义标注及描述是一项非常有意义的研究工作。本文以乳腺钼靶影像作为研究对象,将结构化学习的方法应用于影像理解中。通过对病变区域检出、标签生成、语义映射模型构建的研究,实现了乳腺钼靶影像报告的结构化输出。本文的主要工作有:(1)针对获取人工标注的困难,提出了一种基于无监督学习的自动病灶检出算法。该算法基于K-means聚类,对像素点进行特征设计并聚类,初步筛选出病变区域后进一步提取区域的形态学及纹理特征,使用支持向量机(Support Vector Machine,SVM)进行后处理筛选,最终得到目标感兴趣区域(Region Of Interest,ROI)。(2)为减少多标签分类任务中候选区(Proposal Region)的生成数量,并提高模型对影像的视觉特征抽取能力,提出了一种基于感兴趣区域裁剪池化(ROI Crop Pooling,RCP)的特征提取网络,配合多标签分类(Multi Label Classify,MLC)在减少模型参数的同时可以更加精准的识别医学影像的特征。(3)建立在前两步工作基础上,针对小样本训练容易造成的过拟合问题,应用全卷积网(Full Convolutional Network,FCN),提出了影像描述生成框架FCN-MLC-LSTM,将影像的视觉特征转换为自然语句描述。本文还引入了集束搜索(Beam Search)等后处理操作使模型生成的语句更接近自然表述。本文基于公开数据集及上海市某三甲医院的乳腺临床数据进行实验。实验结果表明,本文提出方法在这三个任务上都取得了良好的效果。