原子力显微镜（AFM）是一种通过检测探针尖端和样品表面之间的相互作用力来成像样品表面的实时空间技术。其中,调频原子力显微镜（FM-AFM）凭借其真实的原子分辨率、可以测量原子力谱和可以观察到均匀的绝缘体等优势已迅速发展成为原子/分子尺度上的强大表征工具。并且它在有机材料的表面成像、动态生物分子的高速成像、混合原子的化学鉴别和操纵等领域有着广泛应用。但是现有的商用AFM一般采用调幅（AM）模式,工作于大气环境或者液相环境中,测量过程中品质因子Q小于1000,极大限制了高分辨率成像。基于突破Q限制,提高成像分辨率的需求,本文设计了真空环境原子力显微镜系统,采用FM工作模式,并对系统中关键测量单元进行了优化和校准,研究内容如下:研究了原子力显微镜不同工作模式下的工作原理,分析了FM模式下影响成像分辨率的重要因素,计算及仿真了不同条件下探针检测灵敏度的变化趋势,提出了提高成像分辨率的设计方案。自主搭建了FM-AFM核心测量单元,集成了光偏转系统、探针起振系统、样品台位移系统、扫描系统等关键模块,针对测量过程中由于光电信号检测误差和扫描系统位移灵敏度低而达不到理想分辨率的问题,设计了基于光偏转原理的光电检测系统,并重点对激光准直调节结构优化升级,提高了调节效率和准确性,依据对系统噪声的影响校准了探针振幅;设计了惯性驱动扫描系统,对压电陶瓷扫描管的压电灵敏度和扫描范围进行校准,保证稳定反馈。从选材、抽气、结构方面考虑设计了真空系统,保证探针悬臂高Q因子的实验环境,突破了大气环境下的Q限制,品质因子从600-800提升到了12000-16000,有效提高了探针检测的灵敏度。在真空环境下对系统性能进行测试,检测了输入信号的灵敏度,校准了实验参数,测量了探针起振的共振峰幅值、相位、带宽和Q值,对比大气环境下性能具有明显的优越性。并从功率谱密度、本底噪声和探针最小可检测Δ1)方面测量了系统的噪声性能,证明系统的低噪声性能。之后使用云母作为样品测量表面形貌,可以得到清晰的台阶信号,证明系统具有0.1nm的高分辨率。综上所述,通过真空非接触式调频原子力显微镜系统的设计,突破了品质因子Q的限制,有效抑制了系统噪声的影响,提高了探针检测灵敏度,减小了系统结构性误差,为超高真空环境下系统的设计和优化奠定了基础。