近年来,新型互联业务的数据量爆发式增长,数据交互需要可媲美光纤的传输速率。毫米波无线通信系统具有带宽宽、传输速率高的特点,在5G和后5G时代有广泛的应用前景。本文提出了三种宽带共面波导-矩形波导转换结构从而实现基于不同传输线的毫米波器件之间的高效连接以及毫米波器件的波导输出封装;设计了多波束天线和波束可调天线增加毫米波无线通信系统的覆盖范围;搭建了基于光电结合和谐振隧道二极管（Resonant tunnelling diode,RTD）的高速毫米波无线通信系统。本文主要研究工作如下.1、提出了三种宽带共面波导（Coplanar waveguide,CPW）-矩形波导转换结构和基于三种不同封装工艺的单行载流子光电二极管（Unitraveling carrier photodiode,UTC-PD）的封装壳体。首先,设计了两个基于E平面探针耦合的D/W波段宽带CPW-矩形波导转换结构。通过将E平面探针伸入到波导腔体耦合CPW中的能量到矩形波导中。仿真和测量结果表明,两个转换结构分别覆盖了D波段和W波段,相对带宽分别为43%和37.8%,插入损耗分别是0.5 dB和0.15 dB;其次,设计了一个W波段宽带CPW-基片集成波导（Substrate integrated waveguide,SIW）-矩形波导转换结构,该结构将矩形波导直接安装在基片集成波导接地板的一侧,结构简单,便于组装,测量的|S11|-10 dB的频率范围是80-105 GHz,相对带宽为27%;然后,设计了两个宽带D/W波段CPW-脊波导-矩形波导转换结构,通过利用脊波导阻抗变换器展宽阻抗带宽。其中,D波段转换结构相对带宽为43%,插入损耗小于0.6 dB,但是这个结构需要保证CPW和脊之间的良好接触,微组装比较困难;而W波段无接触式CPW-脊波导-矩形波导转换结构,在CPW的上方额外增加匹配脊保证CPW和脊波导之间的良好能量传输。测量结果表明,该结构在80-109 GHz频带范围内,平均插入损耗大约是1.2dB;最后,将这三种转换结构分别应用于金丝键合、倒装焊以及脊波导耦合的UTC-PD封装壳体设计。2、提出了一种W波段基于槽缝间隙波导（Groove gap waveguide,GGW）巴特勒矩阵的高效率多波束圆极化天线阵。首先,设计了一个基于GGW的4 × 4巴特勒阵,采用两个耦合器叠加的方式提高交叉结的隔离度。其次,设计了基于GGW的宽带圆极化天线,采用双脊波导馈电减小了波导口径宽度。通过在展宽的矩形波导内放置两个三角形隔片实现天线圆极化性能,并且为了提高圆极化的纯度,在展宽波导的上下两层金属板分别增加了金属脊。最后,利用提出的4×4巴特勒阵馈1 × 4圆极化天线阵从而实现四波束端射阵。仿真和测量结果表明,四波束端射阵的工作带宽是77.5-92.5GHz,四个波束的覆盖范围是（-28°,28°）,最大增益是15.29 dBic,最大辐射效率高于89%。3、提出了 一种基于石墨烯高阻抗表面（High impedance surface,HIS）的3D波束可调太赫兹天线。天线由基于石墨烯的可调HIS和加载在其上方的环形天线组成。利用石墨烯的电导率可调特性,改变石墨烯的化学电势可以控制HIS单元的状态。通过调节高阻抗状态单元的个数来改变天线的波束指向,由于天线的对称性,天线可以在多个水平面实现波束扫描。仿真结果表明,天线可以在θ∈0°,±5°,±10°};φ∈ {0°,30°,60°,90°,120°,150°}平面内的25个波束之间切换。4、提出了两种毫米波无线通信系统。首先,搭建了一个基于光电结合的W波段无线通信系统。系统调制方式为OOK调制,通过将基带信号搭载到光载波并通过光电探测器将光信号转为电信号发送,发射和接收天线选用高增益反射面天线,接收端采用检波器直接解调。实验证明该通信系统实现了通信距离1.2公里,传输速率10 Gbps的实时传输。其次,搭建了一个基于谐振隧道二极管（RTD）的W波段无线通信系统,首次完成了 RTD的矩形波导输出封装。测量结果表明,封装RTD的振荡频率为88 GHz-92 GHz,输出功率不低于-7 dBm。最后,为了验证RTD的无线传输能力,搭建了基于RTD的高集成小型化无线通信系统,调制方式也为OOK调制,实验结果证明在误码率低于3.8 × 10-3的条件下,系统的传输速率可以达到7 Gbps。