各向异性纳米复合多层膜不但可以实现软、硬磁相在纳米尺度上的耦合，而且还可以通过改变各膜层的厚度可以精确的控制软、硬磁相在复合磁体中的比例和层间的相互作用强度。各向异性纳米复合薄膜中软、硬磁相耦合机制和新型拓扑磁相结构的研究对于提高薄膜材料的垂直磁存储器存储密度具有重要的意义。本文中采用磁控溅射的方法制备了各向异性Nd-Dy-Fe-Co-B和Nd-Dy-Fe-Co-B/S/Fe纳米复合多层膜(其中S为Ta，MgO或Cr2O3)以及[Co/Pd]n/Ru/Py纳米复合多层膜。通过光刻技术制备了Nd-Dy-Fe-Co-B连续膜与软磁Fe点阵的复合结构和[Co/Pd]n/Ru/Py微米级圆盘。为了获得均匀的颗粒尺寸和小的粗糙度，采用低温溅射和后续退火工艺，制备了具有垂直各向异性的Nd-Dy-Fe-Co-B薄膜。利用晶界扩散Nd元素，对Nd2Fe14B晶粒表面缺陷进行了修复，并提高了磁体矫顽力和矩形度。高质量的Nd-Dy-Fe-Co-B薄膜为后续制备纳米复合永磁薄膜打下了良好的基础。　　在研究纳米复合永磁薄膜中的长程相互作用中，利用金属和绝缘的材料分别作为隔离层对纳米复合多层膜层间的相互作用进行调控。研究表明，金属隔离层样品具有很长的有效相关耦合长度Leff当隔离层为绝缘性材料时，Leff会大幅度缩短。此外，隔离层的弱磁性同样会对Leff造成影响。对复合薄膜的一阶翻转曲线进行分析表明，软、硬磁相耦合后，平均场以偶极相互作用为主，并随着隔离层厚度的增加而减弱。当软硬磁相发生脱耦合时，在低矫顽力区域出现了不可逆翻转。在可逆与不可逆分布分析中发现，可逆与不可逆成分比例不完全取决于软、硬磁相的比例，也与磁相间的相互作用密切相关。　　在对纳米复合多层膜表面磁畴的研究过程中，分别设计了耦合和脱耦合的Nd-Dy-Fe-Co-B/MgO/Fe连续薄膜和点阵结构。由正向饱和开始的退磁过程中，通过改变外磁场观测到磁畴从形核、长大、翻转、湮灭到再形核的过程中磁畴形态和尺寸的变化情况。根据微磁学理论推断，退磁过程主要是偶极静磁能和Zeeman能之间的竞争，磁畴的尺寸变化与外磁场和膜层间偶极相互作用密切相关。我们还在纳米复合点阵结构中原位表征了软磁圆盘与膜层的磁畴演变过程。在退磁过程中，发现耦合的结构中软磁圆盘磁畴与下层的Nd-Dy-Fe-Co-B磁畴一致翻转，而脱耦合结构中软磁圆盘的磁畴却是随机变化的，不过，磁化方向仍然是沿面向外的。低温下Nd-Dy-Fe-Co-B的磁畴宽度变小，而软磁圆盘中磁畴变宽，表明Nd-Dy-Fe-Co-B薄膜的磁晶各向异性增强会导致有效相关耦合长度变短。　　利用纳米复合多层膜对磁体微结构调控作用，研究了具有拓扑和手性的涡旋态磁结构。通过对圆盘尺寸、软磁层厚度和隔离层厚度的调节，获得了具有涡旋态-反涡旋态的特殊磁结构，即双涡旋态。利用Zeeman能与磁层间复杂的相互作用关系，调控了磁性圆盘表面具有相反手性的两涡旋核的移动和由双涡旋态向涡旋态的转变。在退磁过程中，观察了涡旋态从形核到后续的湮灭过程中磁畴的变化。绘制了磁相图，揭示了圆盘中磁畴随隔离层Ru和软磁层Py厚度变化中不同类型磁畴的分布。实验结果表明，在纳米复合结构中层间相互作用对拓扑态形成起关键作用。