本论文主要从理论上研究了强关联三角格子过渡金属氧化物NaMO2(M=Mn,Ni,Ti)中的杨-特勒效应、阻挫三角格子化合物NaMnO2和Rb4Mn(MoO4)3中的磁性和各种空穴掺杂下NaxMnO2的磁性。其主要内容如下:　　 首先,在第一章中简要介绍了物质磁性理论和磁性的几何阻挫的基本概念以及晶体场理论和杨一特勒效应,并提出了本论文的研究内容及其科学意义。　　 第二章研究了母体和掺杂的NaxMnO2的杨.泰勒效应和磁性。首先通过研究NaMnO2晶体的MnO6八面体的杨-泰勒效应证实了体系具有铁型轨道序和单轨道特性。其次利用团簇自洽场方法证实了母体NaMnO2的基态是条纹反铁磁结构。最后研究了空穴掺杂浓度对局域自旋构型的影响。　　 第三章对比研究了三种化合物NaMO2(M=Mn,Ni,Ti)八面体MO6的杨-特勒效应:首先利用晶体结构的群对称性确定了八面体可能的几种畸变模式:通过优化体系的势能函数计算出了几个畸变模式的大小和畸变八面体的各个边长。最后计算出了畸变八面体中3d轨道的能级劈裂及d电子的占据情形并分析了各个八面体化合物中最高占据轨道的特点。我们的研究结果对深入研究畸变三角格子化合物ATO2的基态性质和输运特性有重要作用。　　 第四章中系统研究了Rb4Mn(MoO4)3在外加磁场下的磁相变和热力学规律。我们发现在加z方向磁场时体系依次经历共线反铁磁条纹相、低场下的超固相、共线的ddu相、高场下的超固相和饱和的铁磁相:在加x方向磁场时体系只经历三个相:共线反铁磁条纹相、超固相和沿x轴方向的饱和的铁磁相。然后我们研究了磁化强度随外磁场的变化规律和比热随温度的依赖关系。发现在加z方向磁场时磁化强度出现平台现象;比热曲线在无外场时在TN=4.5K附近发生突变。　　 第五章利用隶玻色平均场近似下研究了NaxMnO2的磁性。首先推导出了隶玻色平均场近似下的等效哈密顿量。研究了体系的磁构型与掺杂浓度的变化关系;洪特耦合强度JH以及关联强度Hubbard U对体系的影响。我们的计算结果表明随着空穴浓度的增加,局域自旋之间通过巡游空穴的双交换作用增强导致体系自旋从反铁磁够型转变成铁磁构型;耦合强度JH越大更有利于铁磁转变;在高掺杂情况下应考虑HubbardU关联的影响,并研究了空穴双占几率随U的变化规律。　　 最后,我们总结并提出了在过渡金属化合物材料中值得进一步探索的物理问题。