本论文工作利用输运测量的方法研究了磁性拓扑绝缘体中磁有序态与量子相变行为。通过对一系列磁性掺杂拓扑绝缘体薄膜的电磁输运性质测量,我们揭示了该体系中由于拓扑与磁序相互作用而引起的丰富的拓扑量子效应,此外,我们还在基于磁性拓扑绝缘体的量子反常霍尔效应系统中发现了新的量子相变行为。Bi_2Te_3家族三维拓扑绝缘体代表了一类有趣的拓扑量子材料。这类材料的体态表现出绝缘性行为,但是在体与真空的界面处存在着具有狄拉克线性色散关系的金属性表面态。拓扑绝缘体为人们研究新的拓扑量子效应以及制备新型自旋电子学器件提供了一个理想的平台。在对拓扑绝缘体的研究中,通过磁性掺杂而破坏时间反演对称性,被认为是一种研究和调控拓扑绝缘体性质的有效方法。我们首先研究了Cr和Mn两种元素共同掺杂的Bi_2Te_3拓扑绝缘体薄膜的输运行为,我们发现不同掺杂比例的样品在磁场中呈现出不同手性的反常霍尔效应,并且其手性对温度、薄膜厚度以及费米能级的位置非常敏感。通过对不同磁性杂质d轨道电子占据态的分析,我们认为反常霍尔效应的手性取决于磁性离子与巡游电子的交换相互作用的符号。我们的实验证明了磁性拓扑绝缘体中可能存在着由拓扑表面态和体电子态分别诱导的磁有序态的竞争。在单一Mn元素掺杂的Bi_2Te_3薄膜中,我们通过精确控制样品的厚度,实现了对拓扑表面态诱导的磁有序态的调控。在不同厚度样品的输运性质研究中,我们发现Mn掺杂Bi_2Te_3在且仅在4纳米这一特定厚度呈现不同于传统反常霍尔效应的拓扑霍尔效应。结合理论计算,我们认为该拓扑霍尔效应很有可能来自上下拓扑表面态耦合而导致局域磁矩在实空间产生斯格明子的拓扑结构。此外,我们还研究了磁性拓扑绝缘体中另一个重要的效应-量子反常霍尔效应。通过材料工程,我们发现在拓扑绝缘体中共同掺杂Cr和V能够有效的提高样品中的磁均匀性,从而实现了目前最高温度的量子反常霍尔效应。结合对多个不同量子反常霍尔效应样品的输运行为的分析,我们首次提出在该体系中存在着两类截然不同的基态:量子反常霍尔液体态和反常霍尔绝缘体态,而此前的大多数相关研究都集中在量子反常霍尔液体态。更为重要的是,我们通过标度行为分析发现这两者之间的量子相变行为不同于传统二维电子气中的量子霍尔相变,意味着量子反常霍尔效应并非简单意义上零磁场版本的量子霍尔效应。