一直以来,凝聚态物质的研究始终围绕着两个主题：一是与Landau费米液体理论相关的能带理论和微扰理论,该理论体系是半导体理论的基础,支撑了目前各种电子器件的研究；一是Landau对称破缺理论和重正化群理论,该理论体系是我们研究大部分物质态及物质不同态之间相变的框架,是当前诸如液晶显示、磁性材料记录、合金材料及高分子材料性能等研究领域的理论基础。这两个主题互相补充,同时又各有交叉。根据Landau对称破缺理论,无论是由热涨落导致的热力学相变,还是由量子涨落导致的量子相变,都意味着系统中有序程度的改变,以及系统对称性的变化。在本文的第二、三章中,我们将在此框架下讨论物理系统的热力学相变和量子相变行为。我们还将在第四章中讨论一种特殊的量子相变：拓扑量子相变,其中不存在描述系统有序程度的局域序参量,而且相变前后系统的对称性也未发生破缺,因而无法将其纳入Landau对称破缺理论的范畴。我们将利用几何相讨论Kitaev模型中的拓扑量子相变,并将这种已成功用于表征量子相变的物理量推广至拓扑量子相变的系统中。近年来,冷原子光学系统以其高纯度,高稳定性,特别是系统能级结构的高可操控性,已经成为研究量子多体系统的理想平台。在冷原子系统中实现一些重要物理效应和理论模型成为了实验和理论研究的热点。本文所呈现的研究工作中,第二、三章主要基于著名的Dicke模型,其从正常相到超辐射相的相变已于2010年在腔BEC中被观察到。在第二章中,我们讨论了Dicke模型在自旋相干态表象下的基态行为及量子临界现象。区别于传统的Holstein-Primakoff变换的方法,我们得到了无需热力学极限条件下的基态能量、原子占据率和系统基态几何相等物理量的解析表达式；同时以扩展的Dicke模型为基础研究了纳米机械振子腔系统中的量子相变问题。在第三章中,我们主要研究了2011年在超冷中性原子中实现的Rashba和Dresselhaus自旋轨道耦合BEC系统的热力学行为,包括比热和熵等热力学量在该系统中的临界行为以及有效Rabi频率、自旋轨道耦合强度、原子间的有效相互作用强度和温度等对热力学相变的影响。最后,我们还提出了自旋轨道耦合BEC系统在量子信息领域的一个应用。根据我们的理论,在当前实验条件下可以得到最大压缩因子超过-30dB的自旋压缩,并且通过控制所制备的系统初始态相位,还可以极大地提高该最大压缩因子。在第四章中,我们证明了在Kitaev模型中,引入关联转动得到的系统基态几何相可以作为表征其拓扑相变的工具。我们还研究了基态几何相对耦合参数的二阶导及其标度率。