在无线通信迅猛发展的今天,保障信息安全传输成为关注的焦点。传统加密通信容易引起窃听者的注意,相比而言,隐蔽通信技术将部分信息隐蔽传输,利用把部分信息隐藏在普通的信息载体中,使信息在传输过程中不易被发现。而基于物理层的隐蔽通信技术是其中重要的分支,基于物理层的隐蔽通信可以使窃听方无法截获信息甚至无法分辨机密信息,不仅提升了机密性并且方式多种多样,易于实现。因此,基于物理层的隐蔽传输技术凭借其优势已经引起了广泛的关注。本文针对隐蔽通信中关键技术索引调制技术（Index Modulation,IM）和方向调制技术（Directional Modulation,DM）的一些问题,基于现有的传统索引调制技术和方向调制技术,研究新型隐蔽传输技术。本文的具体工作如下:首先,本文介绍了传统索引调制技术和方向调制技术的理论方法和实验原理,从发展情况和研究现状两部分进行了概括。其次,本文介绍了基于传统扩频码域的索引调制（Code Index Modulation,CIM）和传统相控阵方向调制两种隐蔽传输技术,并在加性高斯白噪声（Additive White Gaussian Noise,AWGN）信道下,分别对比了码索引调制技术与传统的直序扩频系统,以及相控阵方向调制技术与传统波束形成系统的误码率（Bit Error Rate,BER）性能。然后利用多域联合,结合扩频码域与交织码域,提出了一种新型多码域索引调制技术（A Novel Code-Domain Index Modulation,CDIM）的通信框架,通过扩频码和交织器索引相结合来传递和隐藏信息。通过理论分析和蒙特卡罗仿真证明了CDIM系统的性能优势,提出了一种采用最大互相关和向量内积作为优化度量的优化分析方法,并且将检测优化用于复杂的无线通信场景,如混合高斯衰落信道,提出了一种最大似然（Maximum Likelihood,ML）算法和一种基于支持向量机（Support Vector Machine,SVM）的检测。随后在前面工作的基础上,结合方向调制在角度上防窃听的优势,提出结合码域索引调制和方向调制的新型混合隐蔽技术（Code-Domain Index Modulation with Directional Modulation,CDIDM）。然后给出了期望接收角度接收机和非期望接收角度接收机的最大似然方案,理论分析平均误码率边界并且进行蒙特卡罗仿真,验证了该系统的误码率性能优于传统系统,在方向上具有很好的隐蔽性。在相控阵的基础上,进一步研究了频控阵的方向调制技术,给出了基于频控阵的方向调制技术的CDIDM系统的波束形成图。第五章对全文进行了简要总结,并指出了物理层隐蔽传输技术中可能的研究方向。