消化道内窥镜检查是目前筛查胃肠道疾病首选的标准检查方法,检查医生手持细长软管状设备经人体腔道进入并缓慢推送至器官目标区域,并通过光学镜头和图像传感器等装置对器官内部表面进行实时成像,由此依据临床知识和经验对视频图像中消化道黏膜健康状况进行诊断。为辅助临床医生实现对消化道癌症相关病灶的早筛早诊,缓解漏诊误诊情况的发生,研究人员通过开发以图像理解技术为核心的计算机辅助检测和诊断系统,实时帮助临床医生定位病灶和评估风险,辅助提升临床病灶检出能力,规范检查操作流程。目前,以深度学习算法为核心的医学图像理解技术发展迅速,在图像和视频的分类、检测、追踪、分割、配准、生成等任务中表现卓越,在部分病灶识别任务和数据上获得了与临床专家相当的诊断精度。然而,在基于深度学习的消化内镜智能诊断方法的研究和应用部署领域,现有的工作多集中在少数单任务模型的孤立研究上,难以满足复杂的真实临床检查环境对全功能智能辅助诊断的广泛需求,尤其随着孤立任务数量持续增长,临床检查所必须的实时性要求难以得到满足,阻碍了智能辅助诊断在消化道内镜检查领域的推广应用。本文拟采用多任务学习模式,对面向消化道内窥镜智能诊断的端到端图像理解多任务模型进行研究,基于多个临床数据集进行模型的训练和部署,实现多任务推断能力在时间性能和诊断效能上的提升。通过对深度学习的消化道内镜智能诊断中存在的问题与局限进行理论和方法上的研究,本文提出了多任务学习模式下内容和时序解耦合方法以及基于任务相关分析的多任务集成模型设计方案,并对所构建实时消化内镜辅助检测和诊断系统进行了临床实践和验证。具体而言,本文的主要研究内容包括:1)内容解耦合模型方法研究针对单任务模型训练过程中,由于对应任务的特征表示较弱以致模型所关注的特征耦合到别的无关特征上,引起模型可靠性降低的内容耦合问题,本文提出了一种缓解内容耦合问题的模型训练方法。该方法基于耦合任务无关的先验知识,通过在模型训练过程中采用局部拼图法对数据进行增强,并基于类别激活图引入新的损失函数用以提升模型特征的表达准确性,实现了无关任务的内容解耦合,确保了后续进行多任务相关性分析时对应任务关联关系的准确性。以消化道内镜场景下胃癌前病变识别模型为例,本文的内容解耦合模型方法有效克服了癌前病变的识别特征耦合到解剖位置的识别特征上的问题,在癌前病变识别上模型的准确率提高了1.20%和0.84%,同时在可视化类别激活图上模型特征一致性得到了大幅提升。2)时序解耦合模型方法研究针对基于单任务孤立模型的多任务学习中,多个任务在计算流程存在时序上的串行关系,导致系统计算冗余、实时性降低的时序耦合问题,本文提出了一种缓解时序耦合问题的模型构建与训练方法。该方法基于时序耦合任务相关的先验知识,通过对模型结构进行融合调整,并提出改进的三元组度量学习方法用以提升任务特征的特异性,实现了相关任务的时序去耦合,提升了模型的时间性能并确保了后续多任务集成模型并行输出的可行性。以消化道内镜场景下肠镜息肉目标检测与目标追踪任务为例,本文通过对目标检测任务与目标追踪任务进行时序上解耦合,实现在不损失模型检测和追踪精度的情况下模型推理速度提升30%。3)基于任务相关性分析的多任务集成模型方法研究为解决少数单任务模型的孤立研究难以满足复杂的真实临床检查环境下全功能智能辅助诊断的问题,本文综合上述内容和时序解耦合方法,通过对深度学习模型中表征相似性的研究,提出了一种基于任务相关性分析的多任务集成模型方法,该方法基于不同任务的单模型,从模型不同层面量化提取表征多个任务之间相关性的RSA相关系数矩阵,并以该任务相关性为指导,设计和构建逐层递进的端到端多任务集成模型,从而充分实现任务之间的特征共享和信息传递,提升模型的推断性能和时间性能。基于这种方法,本文实现了包含九项任务的面向消化道内镜智能诊断的多任务集成模型,相比多个单任务模型的常规组合模式,模型总体体积减小42%,实时推断速度提升1倍,各项任务的模型准确度上保持了相当的性能甚至略有超越。4)基于任务相关多任务集成模型的辅助检测与诊断系统设计与实践基于上述多任务集成模型的研究成果,本文研发了一套消化道内镜视频辅助检测与诊断系统,并在真实的消化道内镜检查视频数据上进行了评估验证。实验结果表明,该系统达到了临床对多功能智能辅助诊断的实时性要求,并且在病灶检出率和实时性等模型性能上都得到了提升。