图像分类一直是计算机视觉领域备受关注的核心问题,是视觉语义理解的基础。但在信息爆炸式发展的今天,传统的机器学习范式,如监督学习和无监督学习,已经无法高效得解决大数据的问题。具体地,监督学习伴随着昂贵的人工标注成本,而无监督学习仍然不是很有效。因此,许多研究者逐渐将目光投向半监督学习,一种能同时利用标注数据和未标注数据进行学习的学习范式。半监督学习的研究始于上个世纪七十年代,尽管从理论、算法和实践等方面,半监督学习都有了很大的进展,如何有效利用未标注样本仍然是半监督学习的一个核心问题。传统的半监督学习算法基于不同的假设和方法已经有了各种各样的算法实现。然而,传统的半监督学习算法由于模型本身表达能力有限、计算存储开销大、优化推理复杂度高等原因,已经越来越无法满足大数据时代的发展需求。基于此,本文提出了基于深度学习的自步学习跨任务深度网络应用于图像分类。在半监督的场景中,直接在部分标注的数据上训练一个深度判别模型往往会遇到过拟合的问题,从而导致模型性能不佳。这是因为只有一小部分的标注样本可以参与训练,而标签传播很多情况下会带来错误。在本文中,我们引入了一个辅助聚类任务以探索图像数据的结构,并且合理得对未标注数据加权以减少模糊数据在模型训练时的影响。为此,我们提出了一个跨任务深度网络,同时学习分类和聚类这两个任务。基于模型的预测,大量的成对约束可以从未标注数据中生成,并且作为聚类任务的输入。因为成对约束编码的是弱监督信息,聚类任务对于标注中的错误容忍度更高。因此,根据未标注数据到发现的聚类簇的距离对未标注数据进行加权,应用加权的交叉熵损失函数可以训练一个更好的判别模型。此外,我们还采用了自步学习范式,逐步地从简单样本到困难样本,训练我们的深度模型。在常用的图像分类数据集和行人检测数据集上的实验证明了本文方法的有效性和优越性。