重型运输直升机飞行速度快、运载量大、飞行能力强，不仅是一种良好的兵员和军事装备运载工具，而且在非军事应用领域，也占据着举足轻重的地位。而三转子发动机因其功率较大，性能良好，较适合装备于重型运输直升机，但国内尚未见有关三转子涡轴发动机建模和控制方面的研究。本文围绕直升机/三转子涡轴发动机综合模型的建立及其控制系统的设计开展研究工作。首先，运用部件特性修正的方法得出三转子涡轴发动机的部件特性，建立稳态和动态的平衡方程。选取合适的初猜值，对模型进行求解，完成三转子涡轴发动机数学模型的建立工作。并对直升机旋翼模型进行了修正，建立了直升机/三转子涡轴发动机综合模型。其次，研究了三转子涡轴发动机的鲁棒控制方法。设计了ALQR（增广线性二次型调节器）控制器，通过将误差增广为系统的状态量，利用LQR的状态调节能力，使得系统的稳态误差为零。设计了基于LMI（线性矩阵不等式）的H2/H∞控制器，将总矩作为干扰信号建模，利用H∞的干扰抑制能力，并通过构造输出方程将系统的LQ指标转化为H2指标，形成标准的H2/H∞问题，获得了具有鲁棒跟踪和干扰抑制能力的控制器。通过数字仿真验证了两种算法的有效性。最后，研究了三转子涡轴发动机的综合控制方法。针对主旋翼扭矩变化对功率涡轮转速的干扰，研究了旋翼扭矩预测及前馈控制技术。实现了基于SVM（支持向量机）算法的扭矩预测技术，提出了基于ELM（极端学习机）的扭矩预测方法。设计了基于内模原理的功率涡轮转速控制器，将输入信号的内模直接加入控制器，通过极点配置实现鲁棒跟踪。扭矩前馈采用PD（比例微分）控制策略，实现对发动机负载变化干扰的有效补偿。开展了综合控制系统的数字仿真验证，取得了良好的控制效果。