在一些反铁磁自旋系统中,由于存在激烈竞争的相互作用,在低温下不存在一个简单的经典构型可以同时满足所有的相互作用都处于最低能量,长程磁序的发展受到了强烈的抑制,因此在这些系统中会出现一些新奇的相和临界行为。本论文主要通过经典和量子蒙特卡洛方法对这些具有新奇相变和低温性质的自旋系统进行研究。首先,本文研究了在烧绿石（pyrochlore）晶格上SU（2）对称性的1/2自旋的反铁磁量子海森堡模型的低温性质,并在这一阻挫量子自旋系统中发现了自旋冰状态。本工作中采用的研究方法是基于费曼图展开的图形蒙特卡洛方法,并采用了粗化图形技术对图形进行了部分求和,这个第一性原理的数值计算方法在温度低至T/J=1/6为止都有很好的收敛性。我们在低温下的静态结构因子中发现了自旋冰态的一个明显的标志——领结形图案和特殊的准奇异点：通过对比量子海森堡模型,经典海森堡模型和经典伊辛模型在同一晶格上的静态结构因子函数,我们发现了非常精确的量子-经典模型对应关系；同时,我们通过数值解析延拓方法获得了实频率动力学结构因子,并从中发现了自旋子的耗散动力学能谱,这与自旋冰态中的激发子性质相一致。然后,本文研究了反铁磁Potts模型在一些三角面晶格上的相变性质,并发现在其中一个子晶格的配位数为4的欧拉平面三角面晶格上,反铁磁4态Potts模型具有有限温的连续相变.进一步预测了该相变的普适类。我们分别用转移矩阵方法和蒙特卡洛方法对这类晶格中的两个例子,union jack晶格和bisected hexagonal晶格,进行了数值模拟,数值结果证实了有限温相变的存在。更进一步,我们构造了一系列三角面和四边形面晶格,并发现在这类晶格上对于任意大的q值,反铁磁Potts模型都存在有限温相变。在这类欧拉三角面晶格上的低温有序态在晶格的一类子晶格上发展出了磁序,而在其他格点上无序,这一相变的机制被解释为由于固定一个子晶格上自旋的取值后可以使其他子晶格上的自旋构型获得更大的熵,因此系统会在熵的驱动下选择部分有序态而不是完全无序,这与普通热力学系统中由温度驱动的相变有很大不同。这一结果同样通过转移矩阵和蒙特卡洛方法得到了数值上的证实。最后,本文研究了Ashkin-Teller模型的一个特殊的无穷大相互作用极限下的相变性质,并展示了Hintermann-Merlini-Baxter-Wu模型（Baxter-Wu模型在欧拉三角面晶格上的推广）与这一AT模型的映射关系。本章给出了Hintermann-Merlini-Baxter-Wu模型与几类AT模型间的映射关系,其中包括了标准的Ashkin-Teller模型,混合Ashkin-Teller模型以及无穷大相互作用极限下的AT模型。最后,我们得到了无穷相互作用极限下的反铁磁Ashkin-Teller模型在正方晶格,三角晶格,六角晶格,以及kagome晶格上的相图。