近几年来,腔光机械系统引起了人们广泛的关注和极大的兴趣。在共振腔中,受辐射光压驱动的机械振子在本征频率附近振动,从而改变了腔模的频率,引起了光学自由度和机械自由度的耦合,我们把这种具有互相调制和耦合作用的系统称为腔光机械系统(或者光力系统)。随着纳米科学以及半导体工业在材料及工艺上的不断进步,超敏感的机械振子的尺寸可以达到微米及纳米尺度。因此该系统在位移测量和质量探测等高精度测量有着重要的应用；并且该系统有助于我们认识经典物理与量子力学交界处的物理现象。另外,耦合原子、电子或量子点的腔光机械混合系统有利于控制腔光机械系统、检验基本的量子定律和研究介观或宏观物体的量子效应,例如制备机械振子的压缩态、纠缠态和叠加态等。本文在理论上主要研究了原子与光机械腔耦合的混合系统中的量子效应,以期通过原子的辅助作用提高辐射光压效应和机械振子的压缩性、研究微观原子的相干性与介观(宏观)物体纠缠的关系,研究表明原子的相干性可以诱导两个腔模以及两动镜子分别产生纠缠,有效地抵制环境热噪声对机械振子压缩态的影响和控制两模腔之间的态转移。全文共有六章,其中第三到第六章是我们的主要研究工作,具体内容安排如下：第一章介绍了本文的研究背景及研究意义,概述几种典型的腔光机械系统,介绍了辐射压力的本征模理论、腔光机械系统的本征态及其研究现状。最后给出本论文的主要研究内容和章节安排。第二章简单介绍有关腔光机械系统的基础知识,主要包括振子库、光腔与机械振子之间的线性耦合和平方耦合。然后,介绍了原子与光场相互作用和电磁诱导透明等量子基础知识和处理方法包括量子朗之万方程、腔场的输入输出理论。第三章提出利用原子的能级相干性制备双纠缠态的理论方案。我们考虑受经典场驱动的两模腔光机械系统与级联型三能级原子的相互作用,可以得到两个动镜子的纠缠；此外也可以实现两模腔场的纠缠。最后,我们讨论了腔场的输出压缩,入射原子的初态对输出压缩谱的影响。第四章主要讨论了二能级原子系综如何影响腔光机械系统中的类似电磁诱导透明。首先分析了耦合原子的腔光机械系统中腔模,机械模及原子的动力学演化,我们发现通过调节原子的数目,可以有效地调节透明窗口的宽度。此外,通过分析稳态方程,我们发现增加原子的数目增强了光腔与机械振子之间的有效耦合强度。其次,我们研究了原子对腔光机械平方耦合系统中电磁诱导透明的影响。通过类似的分析,我们发现原子的存在增强了吸收谱从而使得透明更为彻底,同时可以增强薄膜位移的涨落及能量。最后,我们简单分析比较了原子与腔光机械系统中电磁诱导透明的不同与相似之处。第五章研究了腔光机械系统中机械振子的压缩。当腔场受到含时泵浦场驱动时,辐射压力使得光腔与机械振子非线性的耦合在一起,在一段时间区域内机械振子处于压缩态。通过引入二能级原子系综与腔模耦合,我们发现增加原子的数目可以有效地抑制环境热噪声对机械振子压缩态的影响。我们还提出了探测此压缩态的可行性实验探测方案。第六章研究了耦合三能级原子的两模腔光机械系统中不同频率腔模之间的量子态转移。通过分析频域下的量子朗之万方程,剔除原子的动力学演化,可以得到稳态条件下两模腔场的输入输出关系。我们证明了原子可以控制不同频率两模腔之间的态转移以及脉冲传输时间。最后,我们对本论文研究成果做了详细的总结并对后续的研究工作做了进一步的展望。