近年来,如何解决标记多义性问题已成为机器学习和数据挖掘领域的一个热门研究点。在传统的机器学习框架中,比较成熟的标记多义性学习范式是单标记学习和多标记学习。前者假设一个示例仅仅只有一个标记,后者认为一个示例可以和多个标记相关。因此,相比于单标记学习,多标记学习可以解决更多的标记多义性问题。然而,无论是单标记学习还是多标记学习都只能解决“哪些标记与示例相关”的问题,无法回答“每个标记是怎样对示例进行描述的”。针对这个问题,学者们提出了标记分布学习范式。标记分布学习范式能够直接学习每个标记对特定示例的重要性,适用于解决更复杂的标记多义性问题。并且,为了提升学习性能,如何挖掘并利用数据之中的相关性是标记分布学习的一个核心内容。基于此,本文通过挖掘并利用样本相关性和标记相关性,对标记分布学习方法展开进一步研究。另外,本文同样针对数据不完备问题进行相关探讨。第一,本文提出了一种基于全局和局部标记相关性的标记分布学习算法。现存的标记分布学习方法要么只利用全局标记相关性来提升算法的性能,要么只利用局部标记相关性来提升算法性能。实际应用中,标记间的相关性是复杂的,一种更合理的方式是同时考虑全局和局部的标记相关性。在完整的标记分布空间中,考虑到一个标记可以由其相关标记的线性组合来表示,本文通过约束矩阵的低秩性来近似获取标记的全局相关性。另外,为了学习局部标记相关性,本文基于不同样本的特征分布,将样本聚类成不同的簇。对于同一簇内的样本,本文认为其共享标记的相关性;对于不同簇的样本,所共享的标记相关性也是不同的。实验结果表明,同时利用标记的全局和局部相关性,可以更好地提升算法性能。第二,本文提出了一种基于特定特征选择和共同特征选择的标记分布学习算法。现有的标记分布学习方法都存在一个相同的问题,即假设所有的特征被所有的标记所共享。这个假设是粗略的、笼统的。实际上,有些标记只被部分特征所决定。为了更精确地描述特征与标记间的关系,本文为每一个标记都学习其相关特征。此外,为了避免共同信息丢失,本文还为全部标记学习其共同的相关特征。更进一步地,为了提升算法性能,本文还直接在标记分布的输出分布上学习标记的相关性。实验结果表明,本文所提算法能更好地学习特征与标记间的关系,从而得到更好的性能。第三,本文提出了一种基于矩阵补全技术的弱监督标记分布学习算法。现有的标记分布学习算法基本都建立在完备的数据集上,并且模型在训练过程中依赖强健的监督信息。然而,在实际应用中,数据集的监督信息往往是不完备的、不准确的。值得注意的是,当标记分布大量缺失时,从测试数据中提取的信息对算法性能的提升是有帮助的。考虑到这一点,本文提出了一个基于样本相关性的直推式矩阵补全标记分布学习算法,该算法可以在模型训练过程中引入测试数据的分布信息。此外,为了进一步提取数据潜在信息,本文还利用流形正则化来学习样本相关性以提高算法性能。已知两个样本越相似,其标记分布也会足够接近。在监督信息缺失的情况下,利用样本相关性可以在一定程度上提高算法补全标记分布的准确性。在多个真实数据集上的弱监督实验结果验证了本文所提算法的有效性。