对相与相变性质的研究一直是凝聚态物理学领域一个重要的研究课题。量子相变,即体系在绝对零度以及热力学极限下由哈密顿量中参量改变所驱动的相变,具有许多不同于传统热相变的新奇性质。量子相变点附近特有的量子临界现象,使其对于关联电子体系的低温电学性质和磁学性质至关重要。重费米子化合物作为存在局域磁矩与传导电子相互作用的一大类强关联电子系统,包含丰富的新奇量子相以及它们之间的量子相变和量子临界现象,是凝聚态物理学的重要研究对象之一。重费米子的研究开启了大家对量子临界现象的更多关注。首先从局域态转变为重费米子态。低温下的重费米态,因为相互作用的能标特别小,所以加一点磁场或者压力就可以看到相变,因此重费米体系成为了研究量子相变的理想场所。通过研究重费米体系中的量子相变也可以帮助我们理解其他体系。例如在铜氧化物中,一个很重要的课题就是费米面随掺杂的演化,以及随之可能存在的量子临界点。很可能重费米子体系中的量子临界研究可以帮助我们理解铜氧化物的一些行为。对于铁基超导体,磁性和超导相的相图也和一些重费米子体系（如CePd2Si2）的相图惊人的相似。因此,磁性量子临界,局域化,以及非常规超导体之间的相互作用不仅与重费米子体系密切相关,也和其他强关联材料密切相关。最初人们就意识到了在重费米子中存在RKKY相互作用和近藤相互作用的相互竞争。但是,顺磁性的重费米子系统中,费米液体理论被认为是非常成功的,以至于磁性被认为是重费米液体的衍生产物。在重费米液体图像中,反铁磁重费米金属来自于RKKY相互作用导致的费米面附近的自旋密度波不稳定性。近年来,拓扑绝缘体（TI）作为另一类能带绝缘体的研究受到了大量的关注。不同于近藤绝缘体的形成,在拓扑绝缘体中体能带带隙打开是因为有有限的自选轨道耦合作用。但表面态仍然是无带隙的,并且这样的非平庸拓扑是收到时间反演对称性（TRS）保护的。自旋轨道耦合（SOC）广泛存在于半导体等凝聚态物质体系中,且可以强烈影响体系的性质,如形成拓扑绝缘体或外尔半金属等拓扑非平庸的新颖物态。从理论的角度,自旋轨道耦合提供了额外的调控参数来丰富重费米子系统的全相图。拓扑非平庸量子相是否以及怎样出现在全相图中,都是有意思的问题。目前凝聚态的重要方向之一是探索具有较强自旋轨道耦合的关联电子体系中的新奇量子相。以此为动机,我们研究了二维六角格子上Kane-Mele-近藤-海森堡模型的基态相图。我们采用自旋算符的赝费米子表示并通过自洽平均场计算,得到了重整化后体系的电子结构以及关联函数。我们得到了在半满填充时该模型的全局基态相图,其中包含近藤绝缘体相、局域磁矩具有价键固体（Valence Bond Solid）关联的拓扑绝缘体相,以及两类新反铁磁量子相。这些相反映了体系中自旋轨道耦合、近藤相互作用以及磁阻挫之间的相互竞争与影响。尤为有趣的是,在我们发现的两类反铁磁相中,其磁矩方向是在二维格子面内还是垂直于此平面,是由自旋轨道耦合与近藤相互作用之间的相互竞争决定的。特别是我们发现当反铁磁序的磁矩方向垂直于晶格平面时,若体系的自旋轨道耦合超过一阈值,体系基态电子结构是拓扑非平庸的。本文分为六章。前两章主要介绍重费米子体系的性质与材料、拓扑与自旋轨道耦合以及重费米子相关理论模型等方面的背景知识。第三章主要是介绍二维六角格子上的Kane-Mele-近藤-海森堡模型以及基于自旋赝费米子表象的自洽平均场计算方法。在第四章,我们应用自洽平均场方法,得到体系全局的基态相图,并计算了几个相的陈数。着重讨论自旋轨道耦合、近藤相互作用以及磁阻挫之间的相互竞争对体系基态的影响。如自旋轨道耦合导致的拓扑绝缘体态与近藤屏蔽效应导致的近藤绝缘体态,以及局域磁矩间RKKY作用形成的长程磁有序态之间的转变。在第五章,我们将着重讨论近藤相互作用与自旋轨道耦合的相互影响下,体系反铁磁基态的磁矩方向与其拓扑性质,并讨论拓扑非平庸相的成因。在第六章里,我们对本文工作做一番总结与展望。