欠驱动机械臂系统是一种典型的二阶非完整约束动力学系统，属于非完全可控系统。一般的光滑反馈控制方法对这样的系统是无效的，其运动控制与运动规划比一般的全驱动机械臂系统困难得多，难以找到一种通用的、效果较好的控制方法。因此，欠驱动机械臂系统的控制问题已经引起了世界范围内学术界的高度重视和广泛关注。分层滑模控制理论是近年来新出现的一种滑模控制方法，利用分层思想将驱动关节和非驱动关节的滑模面分别设计，可将该思想与非完整约束的机械臂系统相结合，实现欠驱动机械臂的有效控制。本文以分层滑模控制理论为基础，以二自由度欠驱动水平机械臂为研究对象开展了以下研究工作：首先，全面的介绍了非完整约束动力学系统的概念及其发展研究的过程和现状，并对典型的非完整约束系统进行了分析。在此基础上介绍了二自由度欠驱动水平机械臂的分层滑模变结构控制器的设计方法，对其李雅普诺夫意义下的渐近稳定性进行了理论证明并实现了其位置控制。其次，利用遗传算法实现了分层滑模控制器参数的设计，并提出动态时变交叉和变异算子方法，一方面提高了遗传算法的收敛速度，且使控制器参数进一步优化。再次，针对滑模控制存在“抖振”的难题，将神经网络与滑模控制相结合，设计了RBF神经网络分层滑模控制器。提出通过混合编码的方法提高RBF神经网络遗传优化的效率，并利用自适应遗传算法实现了RBF神经网络的结构和参数优化，解决了滑模控制的“抖振”和控制器的稳态误差问题。最后，为提高控制器抗干扰能力，将反步设计法与分层滑模控制策略相结合，设计了自适应分层反步滑模变结构控制器，提高了抗干扰能力。同时详细证明了该控制器李雅普诺夫意义下的渐近稳定性。仿真结果验证了本论文提出的各种控制方法的有效性。