头戴显示器(HMD)是一种将微显示器与成像目镜相结合的小型化近眼目视光学系统，由于能够满足特殊环境下人眼对光学显示信息的实时获取需要而被广泛应用在虚拟现实和增强现实领域。为提升军用HMD系统的对比度调节范围、显示亮度和分辨率等关键性能，业界提出了基于激光微扫描的视网膜扫描显示器解决方案;近些年来，为适应民用HMD系统便携化的急迫需求，又出现了基于平板波导的HMD设计新思路。这些新方案的独特之处在于:均采用出瞳扩展器将小出瞳进行有效的二维扩展，在满足人眼目视要求的同时提升系统性能或实现便携化。本文针对视网膜扫描显示器(RSD)和半透膜阵列平板波导HMD的出瞳扩展关键技术展开理论研究，揭示了出瞳扩展的物理规律，得到了扩展出瞳的有效方法，主要工作可分为两大部分。　　(1)通过广泛调研RSD的国外研究现状，深入分析了系统设计思路和各项关键技术难点，从光学系统设计的角度描述了限制出瞳的物理机制。采用衍射积分变换的处理方法对衍射光栅出瞳扩展器和微透镜阵列出瞳扩展器进行了理论研究，为出瞳扩展器的设计提供了理论支撑。通过运用光学仿真手段建模，对比研究了六边形排布单透镜阵列和双透镜阵列的出瞳扩展规律，结果表明双透镜阵列是实现彩色显示RSD出瞳扩展的有效方法，并以15mm出瞳直径为例，验证了出瞳扩展方案的有效性。提出了扩展出瞳的评价模型，为出瞳扩展的评价提供了有效方法。针对微透镜阵列的典型加工方式引入的误差，分别建立了微透镜面形误差模型，研究了不同加工误差对出瞳扩展均匀性的影响，为微透镜的设计和研制提供科学指导。　　(2)探讨了平板光波导对头戴显示器便携化设计的独特优势，对其实现目镜系统出瞳扩展的原理和设计思想进行了概括。重点研究了半透膜阵列波导的出瞳扩展方案，采用光线的折射/反射模型进行理论推导，得到了对平板波导的结构约束条件，对初始结构设计具有重要指导意义。提出利用两个互相垂直放置的半透膜阵列波导实现目镜出瞳的有效二维扩展，使得小出瞳目镜即可满足头戴显示器对出瞳的使用需求，在缩小目镜体积的同时减轻了系统重量。采用光学设计软件设计了小出瞳（约2.4mm）目镜光学系统，借助光学仿真软件对目镜和平板波导系统进行了光学仿真，研究了系统最终的成像质量和出瞳辐照度分布规律。设计实例显示，采用简单的球面透镜即可实现出瞳7mm×12mm，视场15°×20°，光学原件总重约36g，畸变小于0.13％，各视场MTF在40 lp/mm大于0.58。该研究及设计实例为半透膜波导HMD的进一步研制奠定了基础。