硅基光子集成芯片以其独特的优势,在集成光通信系统中发挥着重要作用。为了实现硅基芯片与光纤间光信号的高性能传输,需要利用耦合器件以搭建起光信号在两种介质中的传输桥梁。此外,随着数据容量需求的不断提升,人们提出模式复用技术以实现光纤和芯片中通信容量的拓展。因此,在单模传输链路的基础上,如何设计实现支持更高阶模式的耦合器件以应用于模式复用系统中,是一个非常重要的问题。然而,受限于光纤和硅基芯片中高阶模式的模场尺寸和波导结构的失配,传统耦合器件难以实现高阶模式的耦合,同时对于高阶模式的耦合方案也鲜有报道。因此,我们分别对光栅耦合器和倒锥波导耦合器这两种常用的耦合结构展开研究,从耦合机理的分析出发,首次提出了“模式分集”的概念,以解决高阶模式的耦合难题。同时基于该思路,我们分别提出了针对光纤与硅基芯片间的基模和高阶模式耦合的器件设计方案,并在此基础上探索了耦合器件在可重构模式复用系统中的应用。全文的主要研究内容可以概括如下:(1)深入研究分析了光栅耦合器和倒锥波导耦合器的理论基础,对光栅耦合器的布拉格衍射条件以及倒锥波导耦合器的模场传输与耦合机理进行了理论推导。在此基础上分别对两种耦合器件建立了耦合模型,表征了主要的性能指标,并详细分析了器件结构参数对耦合性能的影响。(2)研究了应用于基模耦合的器件设计方案,针对垂直耦合与水平耦合的应用需求分别提出了线性变迹光栅耦合器以及包层束缚型双臂倒锥波导耦合器的结构。线性变迹光栅耦合器通过对光栅刻槽宽度的线性调控,优化了光栅输出模场与单模光纤本征模场的匹配程度,在提升耦合效率的同时,实现了设计方案和工艺制作的简单化;对于包层束缚型双臂倒锥波导耦合器,我们首次尝试实现了利用芯片表面的深沟道刻蚀方法束缚包层模场提高与光纤中本征模场的匹配度,同时引入双臂倒锥波导结构提高模场的收集引导能力。两种耦合结构均测试得到了相对于传统方案的耦合效率提升。(3)研究了应用于高阶模式耦合的器件设计方案,基于“模式分集”思路首次提出并实现了基于传统硅基芯片的结构简单、工艺兼容性强的紧凑型并行光栅耦合器以及并行倒锥波导耦合器,以分别应用于垂直耦合与水平耦合方案中。通过实验测试,验证了两种结构对于一阶模式的高性能耦合,同时还能较好兼容基模的耦合。此外,对于并行光栅耦合器,我们设计实现了紧凑的器件结构,其中拉锥波导长度相比于传统结构缩短了20倍。(4)研究并首次实现了直接利用耦合器件实现芯片上模式转换的应用,针对水平耦合方案提出了一种叉状倒锥波导模式转换器结构,通过对光纤与芯片中高阶模式的耦合直接在芯片上实现模式转换,无需额外设计模式激发与复用器件。在不同的开关状态下均能测试得到较好的耦合与模式转换性能。在此基础上我们提出了对该结构的理论改进方案,进一步提升了对基模的耦合性能,同时完备实现了光纤和芯片中基模与一阶模式的转换功能。(5)研究了模式复用系统中光开关结构的新型设计方案,提出了一种波导无交叉型2×2偏振/模式透明光开关器件,通过借助偏振维度的透明分束/合束器件构建偏振透明的光开关结构,再引入模式转换器实现模式维度的拓展。该方案能同时实现光纤与芯片中两路模式复用信号的开关与路由,相比于传统结构避免了波导交叉,实现了模式容量的扩充,同时对于每路模式信号均能实现灵活调控。通过对偏振/模式开关的性能进行测试,在各开关状态下均得到了较好的光谱特性以及良好的眼图质量和较低的功率代价。