与传统图像识别任务不同,细粒度图像识别目的在于区分同一个物种下的不同子类别,由于其类间差异小、类内差异大的特性,细粒度图像识别成为计算机视觉领域一项极具挑战的研究课题。同时由于其在实际生活中的广泛应用,例如生态保护、无人超市商品识别、车辆识别等,细粒度图像识别技术逐渐成为大数据智能时代诸多领域中的关键技术,具有无可限量的价值,也是近年来计算机视觉、模式识别等领域的研究热点。在众多模型方法中,不使用额外的强监督信息,只使用类别标签进行端到端训练的双线性池化模型逐渐成为细粒度图像识别中的主流方法,本文在双线性池化模型的基础上,从降低背景噪声和改进特征交互两个角度出发,设计了两种端到端的细粒度图像识别模型,并以优异的性能超越了细粒度图像识别领域中其他领先的模型方法。本文主要研究内容如下:(1)基于聚合松弛掩码的双线性池化(HBPASM)模型。该模型致力于降低背景信息对图像识别造成的干扰,首先在单个卷积特征上引入掩码模型提取感兴趣区域(ROI)特征,以此来抑制背景噪声;同时通过引入松弛变量构建松弛掩码模型,来提高在界定主体目标与背景区域时的容错率;最后,我们将多层松弛掩码模型进行融合得到聚合松弛掩码,聚合松弛掩码不仅可以提取更加精细的ROI特征,还对不同位置的特征向量设定了层次化的权重分布,并且该结构可以嵌入到多数卷积神经网络中,实现端到端的训练。最终将提取的ROI特征利用层次化的双线性池化算法生成图像表征,用于分类预测,并通过实验表明了聚合松弛掩码的有效性和HBPASM模型在细粒度图像识别上的优异性能。(2)基于自适应多尺度特征的双二次池化(SHQPM)模型。该模型旨在自主挖掘更有效的特征交互方式,首先从卷积神经网络中提取出了由粗到细的多层次多尺度特征,用以捕捉不同级别的语义信息;然后提出了新颖的双二次池化算法对多尺度特征进行有效的融合,以获得特征层间与层内的互补信息;最后设计了一个稀疏权重模型来为某一特定数据集自主选择最佳的交互特征子集。最终通过实验验证了双二次池化、多尺度特征交互、自适应特征选择各个模块的有效性,通过与当前细粒度图像识别领域处于领先水平的模型进行对比,SHQPM模型展现出了卓越的性能。