随着深度学习技术在计算机视觉领域的不断普及和扩展,对图像内容理解的需求也在急速增长。图像分类和检索作为计算机视觉中十分重要的两个任务,被大量的研究和应用。对于分类和检索任务来说,标签是最基础也是最重要的一个信息,而标签之间的混淆也成为一个不可避免的难题。但当前的研究方向更多的集中在图像信息的挖掘或者网络结构的设计上,而在标签的混淆问题上的研究并不多。因此,本文基于场景分类和商品检索这两个实际场景来探索易混淆信息的应用方法,并构建一套基于易混淆信息的分类和检索系统,主要工作和创新点如下:(1)提出了基于混淆矩阵的聚类算法来挖掘标签之间的易混淆信息。通过将聚类结果转化为混淆权重,设计了一个新的损失函数:混淆加权损失函数(Confusion Weighted Loss Function)让模型在训练过程中除了学习类别之间的差外也能学习到标签之间的相关性。在Places365和MIT indoor67两个数据集上的实验证明了我们提出的算法的有效性;(2)提出了一个基于易混淆信息的数据集自动化清洗流程来对一些错误或易混淆的类别进行修正、合并,让数据集的标签体系更佳合理,并设计了一个基于权重特征的重排序算法,对排序结果进行优化。在商品数据集上的测试结果逐步证明了相关方案的优越性;(3)提出了一个基于易混淆信息的分类检索体系(Anti-Confusion System for classification and Retrieval),覆盖了图像分类和检索相关项目所涉及的一系列步骤。通过在场景分类和商品检索两个任务上的实验验证了该系统的实用性和有效性。