近年来,拓扑材料特别是拓扑绝缘体因其表面态的新奇电子性质引起了人们广泛的关注,无论是在理论还是在实验方面都已经进行了许多研究。拓扑材料表面电子态具有自旋手征性、受时间反演对称性保护、并遵循狄拉克方程,因此在自旋电子器件和量子计算等领域有着广阔的应用前景。拓扑材料研究的重点领域之一是在原子尺度上理解其磁耦合机制以及相应的一些新颖的量子现象。不同于常规金属性电子态,由于拓扑电子态中存在反局域化狄拉克费米子,其自旋和动量绑定在一起,这样一些传统的量子现象对于拓扑电子态来说究竟如何还未知,以前的理论模型也不再适用。本论文的工作是利用扫描隧道显微镜(STM)研究拓扑半金属Sb(111)表面的磁性杂质效应。主要研究了单个Co原子吸附在Sb(111)表面上的电子性质、磁性杂质Co在Sb(111)表面上所引起的准粒子相干现象以及Sb(111)表面自组装薄膜中CoPc磁性分子的电子性质。论文的主要内容如下：(1)研究了单个Co原子在Sb(111)上的局域电子态密度,发现Co原子在Sb(111)表面上具有近藤效应,磁性杂质周围形成自旋极化的电子云屏蔽了Co的磁矩,从而保护了Sb(111)拓扑性表面电子态的时间反演对称没有被磁性杂质所破坏。(2)利用微分电导(dI/dV)成像技术分别测量了Sb(111)表面台阶和磁性杂质Co对拓扑电子态散射所引起的相干驻波。通过分析准粒子相干驻波的波矢,发现表面态对磁性杂质Co的相干散射过程与弹性背散射无关,这间接证明了在我们的测量条件下,近藤效应的存在使得Sb(111)表面态的拓扑性没有被磁性杂质Co所破坏。(3)对CoPc自组装薄膜中磁性分子的电子性质进行了研究。通过测量CoPc分子在Sb(111)上的局域电子态密度,我们发现CoPc分子的dI/dV谱在费米能级附近也存在近藤共振峰,表明Sb(111)表面电子态的时间反演对称性保护不会因在Sb(111)表面沉积磁性分子薄膜而被破坏。