协同视觉显著性检测是计算机视觉的一个新兴分支,它通过模拟人类视觉注意力机制来检测一组相关图像中的公共显著目标。目前已在各种计算机视觉任务中得到广泛应用,如协同分割、目标检测等领域。目前,基于深度学习的协同视觉显著性检测方法已成为主流,且取得不错的检测效果,但该方法仍然存在两类问题:一方面,已公开协同视觉显著性数据集的规模较小,容易导致模型训练过拟合问题;另一方面,现有方法未能有效地表征一组相关图像间的语义一致性,从而限制了模型对公共显著目标的推理能力。针对上述两类问题,本文提出了一种基于双支流编码器生成式对抗网络(Two-stream Encoder Generative Adversarial Network,TSE-GAN)的协同显著性检测方法,其训练分为两个阶段,具体工作如下。(1)在第一阶段训练中,对TSE-GAN的子模块进行预训练。一方面,利用已公开的单幅图像显著性数据集,对单幅显著性的生成式对抗网络(Saliency Object Detection Generative Adversarial Network,SOD-GAN)模块进行预训练,不仅缓解了协同显著性标签样本不足的问题,而且使单幅显著性编码器(the Encoder of SOD-GAN,SOD-Encoder)能够有效地提取单幅图像显著性特征(Intra-saliency);另一方面,利用协同显著性数据集的类别标签对分类网络(Classification Network,CN)模块进行预训练,使得该模块能够提取识别类别语义特征,同时为下一阶段训练组间语义编码器(Group-wise Semantic Encoder,GS-Encoder)获取具有语义一致性的组间显著性特征(Inter-saliency)做铺垫。(2)在第二阶段训练中,TSE-GAN网络以第一阶段的子模块为基础,利用协同显著性数据集对TSE-GAN模型进行训练。在整个模型构建方面,TSE-GAN网络有效地解决了双支流编码器的Intra-saliency和Inter-saliency特征融合问题。此外,本文提出了一种多尺度语义融合模型(Multi-scale Semantic Fusion Network,MSFN),用于整合多尺度识别类别语义的特征,以获取具有语义一致性的组间显著性特征,从而解决了一组相关图像间语义一致性表征能力不足的问题。最后,本文的方法在i Coseg和Cosal2015数据集上进行消融实验,证明了双支流编码器中各支路的有效性;与13种流行算法进行对比实验,验证了本文方法的优越性。