光子技术是满足大数据和人工智能时代人们对信息传输和处理巨量需求的最佳解决方案之一。但目前光子系统的集成度较低导致无法完全发挥光子技术的优势,其中光信号的模式转换效率低是一个重要原因。为了克服这一瓶颈,本论文提出利用光学超表面提高亚波长波导结构中的模式转换效率。光学超构表面是利用亚波长周期单元构建的人工光学结构,其周期单元的横向尺寸和厚度都远小于工作波长。光学超表面可将传统光学器件厚度压缩到亚波长尺度,从而彻底改变传统光学器件的形态。但由于亚波长波导的横向尺寸小与周期排列的光学超表面尺寸不兼容,因此无法直接用于微纳光子结构中。为此,本论文提出将超构单元嵌入到亚波长光波导中来实现高效率模式转换。论文首先讨论二维和三维波导的理论分析方法,正确得到出波导的本征模以及传播常数,为后续研究奠定基础。利用耦合模分析得到波导不同空间模式实现完美转换的动量匹配条件,并在二维波导结构中构造出长周期光栅来实现该条件。进一步利用时域有限差分方法,研究该结构中基模和一阶模之间的相互转换,实现了近完美空间模式转换。为进一步减小转换结构长度,论文提出了反射式空间模式转换超构单元结构。在波导端面引入非对称的两个超构单元,通过参数优化使其对入射光反射产生不同的相移,当二者的反射相位差达到π时,可实现基模与一阶模之间的相互转换。此时实现模式转换超构单元的厚度仅为75纳米,为信号波长的二十分之一,是目前已知的最薄的波导空间模式转换结构。利用同样原理,在三维光波导结构也实现了基于反射超构单元的高效空间模式转换。研究三维波导结构中基于嵌入式超构单元的偏振转换。在透射工作模式下,设计优化了非对称超构单元,使其对正交线偏振态具有不同的相位延迟,当二者相位延迟为90度时实现了线偏振到圆偏振的转换。在反射型金属超构单元中,通过结构优化实现了更大范围的相位差,从而实现了波导中线偏振到圆偏振以及正交线偏振的高效率转换。本论文将光学超构表面的研究从自由空间中的功能器件扩展到微纳光学结构中,极大扩展了光学超构表面的应用领域。论文实现了深度亚波长厚度的波导空间模式以及偏振态转换,比已有模式转换结构的转换长度减小一个数量级,本论文对微纳光子技术的理论研究和实际应用具有重要意义。