第一章探索Transformer模型在胃镜图像中部位识别的临床应用研究目的:Transformer为深度学习技术模型,具备学习分析图像特征,获得图像特征识别与预测的能力。本研究旨在通过Transformer模型对胃镜图像部位特征的学习,形成具备胃镜图像部位识别、预测功能的人工智能系统,评价Transformer模型在上消化道部位识别的准确度、特异度、整体有效度。研究内容和结果:由2018年8月至2020年4月于南方医科大学南方医院等收集胃镜图像21782张,完成部位标注。选取其中18640张胃镜图像形成训练集。Transformer模型基于训练集学习、提取胃镜图像特征,生成基于胃镜图像的人工智能系统,该系统具备识别、预测胃镜图像中上消化道部位的功能。3142张胃镜图像为验证集（7282个部位标签）,实验组为基于胃镜图像的人工智能系统,对照组为人工常规标注。基于验证集评价实验组和对照组准确度、特异度、整体有效度,记录完成时间。结果提示:实验组整体准确度、特异度、整体有效度分别为83.4%、66.9%、77.8%,完成时间为9分30秒;对照组整体准确度、特异度、整体有效度分别为78.4%、68.9%、73.8%,完成时间为10小时15分30秒。结论:Transformer模型基于胃镜图像部位学习形成的人工智能模型相较于对照组,准确度和整体有效度具有明显优势,耗时实验组显著缩短。第二章探索Transformer模型在胃镜视频中部位实时识别的临床应用研究目的:进一步使用Transformer模型基于胃镜视频、图像的学习分别形成胃镜视频智能系统、胃镜视频及图像智能系统、胃镜图像智能系统,评价其在胃镜视频中上消化道部位实时识别的准确度、特异度、整体有效度。研究内容和结果:使用深圳市第二人民医院2021年5至7月录制的50部胃镜视频为研究资料,抽帧形成“视频图像集合”,其中40部为训练集1,10部为测试集;以含有25525张胃镜图像的“胃镜图像集合”为对照组,形成训练集2。Transformer模型基于训练集1、训练集2、“训练集1+训练集2”学习训练分别形成“基于视频智能系统”、“基于图像智能系统”、“基于视频和图像智能系统”;。通过测试集比较视频智能系统、图像智能系统、视频和图像智能系统的准确度、特异度等差异。结果提示:研究组1为基于视频智能系统的准确度、特异度、总体有效度分别为84.3%、78.9%、81.5%;研究组2为基于视频和图像智能系统的准确度、特异度、总体有效度分别为82.9%、81.5%、82.2%;对照组为基于胃镜图像智能系统的准确度、特异度、整体有效度分别为80.0%、76.8%、78.4%。结论:Transformer模型视频学习效果优于胃镜图像,Transformer模型学习视频+图像效果优于单独视频学习。