光学相干断层扫描技术（Optical Coherence Tomography,OCT）是一种无创、高分辨率的三维活体成像技术,被广泛应用于视网膜疾病的临床检查。眼科医生通过阅读患者的视网膜OCT图像为其撰写诊断报告,为下一步的诊断和治疗提供客观依据。但人工撰写报告的方法存在效率低,受主观因素影响大等缺点,因此,基于视网膜OCT图像研究设计可靠的报告生成技术具有重要的研究意义和临床价值。视网膜OCT图像报告生成是一项具有挑战性的任务。首先,视网膜OCT图像中往往同时存在多个/多种异常症状并且难以识别。其次,不同的病症需要使用对应的专业术语进行描述,因此报告的正确生成具有一定难度。为解决上述问题,本文针对视网膜OCT图像提出了一种多任务的报告生成方法,该方法将多标签分类任务和报告生成任务相结合用以提高报告的质量。本文的主要工作和贡献总结如下:1.基于卷积神经网络（Convolutional Neural Network,CNN）和注意力机制提出了一种类别自适应多标签分类网络,实现视网膜OCT图像中15种异常症状以及无异常症状的分类与识别。为解决卷积神经网络在多标签分类任务中特征提取不具备类别针对性的问题,提出了一种类别自适应注意力模块。该模块利用可学习的类别查询矩阵针对不同的类别生成不同的视觉特征,从而优化多标签分类网络性能。2.基于编码-解码框架提出了一种联合视觉-语义信息的图像报告生成模型,实现视网膜OCT图像诊断报告的自动生成。首先,在编码器中引入了一种视觉注意力模块,为解码器提供病症相关的视觉信息。其次,提出了一种语义主题生成模块。该模块结合多标签分类结果以及语义注意力为解码器提供病症相关的全局语义信息和局部语义信息,从而提高模型性能。最后,在报告生成过程中将病症相关的视觉信息和语义信息送入解码器,使得模型能够在定位异常区域的同时为其生成相关描述。本文从汕头国际眼科中心医院获取了 18042个病人的视网膜OCT图像-报告数据并对上述方法进行验证。本文以ResNet18为基础网络,分别实现了类别自适应多标签分类网络和联合视觉-语义信息的图像报告生成模型。经过训练,多标签分类网络在测试集中的平均AUC（Area Under Curve）、ACC（Accuracy）指标分别达到86.08%、89.38%,图像报告生成模型在测试集上的BLEU-1,BLEU-2,BLEU-3,BLEU-4,ROUGE-L,CIDEr 指标分别达到 0.441,0.370,0.335,0.308,0.503,2.571。实验表示,本文提出的多标签分类方法和视网膜OCT图像报告生成方法性能较好,具有良好的临床应用前景。