右端不连续的非线性系统近年来受到广泛关注与重视。它来源于力学，在自动控制和电子工程中许多问题的数学模型表现为不连续的微分方程，特别是含有对状态变量不连续的项(如摩擦力、粘性等)。基于滑模控制及切换控制得到的闭环系统也是右端不连续的系统，源于最优控制策略得到的控制律也经常是不连续的，由此得到的闭环系统亦是右端不连续的系统。本论文在Filippov解的意义下，基于Lipschitz连续且正则的标量(向量)Lyapunov函数,讨论了右端不连续的非线性系统相对一个给定的点(一般考察平衡点)或相对于闭不变集的稳定性问题。 论文首先综合运用非光滑分析工具，定义合适的“集值导数”，研究了时变不连续系统的稳定性问题。在Filippov解的意义下，对于时变不连续系统的一致全局渐近稳定性进行讨论，给出Matrosov稳定性定理。最后将结果应用到一类带有摩擦项的力学系统的跟踪问题中。 其次在Filippov解的意义下研究时变了不连续系统以及相应的扰动系统的一致最终有界性。首次给出不连续系统全局强一致最终有界、全局弱一致最终有界的定义，以及针对于扰动系统的全局强等度一致最终有界性的定义，并基于非光滑的Lyapunov函数得到了不连续系统全局一致强、弱最终有界的Lyapunov定理和扰动系统全局强等度一致最终有界性的Lyapunov定理。 论文基于向量Lyapunov函数，首次在Filippov解的意义下，给出了关于不连续自治系统的比较原理，并基于比较原理，实质性推广了不连续自治系统的相关稳定性结果．进一步地，基于Filippoov解和向量Lyapunoov函数，得到类似的Lasalle不变原理，并基于两个比较系统讨论了右端不连续系统的稳定性，给出了相应的稳定性定理。 对于Filippov意义下右端不连续系统关于闭不变集的稳定性问题，首先给出自治不连续系统关于闭不变集的Matrosov定理，然后基于Lipschitz连续且正则的Lyapunov函数得到自治不连续系统关于闭不变集的Lyapunov稳定性定理。对于右端不连续系统关于闭不变集的有限时间稳定性问题，得到了相应的Lyapunov定理。 论文最后主要讨论脉冲系统、奇异脉冲系统、线性不确定脉冲系统、不确定脉冲系统指定衰减度以及非线性脉冲系统的奇异H<,∞ >控制问题。当系统不满足正则条件的情况下，通过分离正则部分与非正则部分，给出相应系统奇异H<,∞>控制问题可解的充分条件，使得闭环系统在保证内稳定的条件下达到干扰衰减。