非线性现象是自然与社会的本质状态之一。而混沌作为非线性动力学的分支之一,其揭示了自然与社会的普遍存在的确定性与随机性、不可预测性的统一。研究非线性动力学有助于我们更深刻认识其本质,加以控制及应用。近年来,混沌系统在保密通信、信号处理、物理学、生物学等学科中广泛应用。同时,分数阶混沌系统有着比整数阶混沌系统更加符合工程实际,而引起了更多关注。本文从非线性动力学角度入手,探讨了几个新的混沌模型的构成机制,研究了关于混沌鲁棒同步的原理,并初步研究了分数阶混沌系统在数字图像加密中的应用。论文的主要内容和结论如下:（1）通过将分数阶微积分定义引入到离散形式下的动力系统,而得到了离散分数映射的新形式。这种新的离散分数映射具有记忆的效果,给出了离散Duffing映射的类Caputo离散分数形式,并分析了其离散分数形式下的相图、分岔图,比较了最大Lyapunov指数与分岔图的的关系,研究了其局部的分岔性质。给出了在分数阶阶数发生变化的情况下的最大Lyapunov指数与分岔图的相互关系。这是一个新的研究方向,为离散动力系统的研究,又开启了一个值得关注的研究点。最后结合拓扑马蹄理论,从理论与数值分析相结合的角度,寻找到了该离散映射具有拓扑马蹄,从而证明了其是混沌系统。（2）构建具有特定动力学行为的混沌系统一直以来都是件吸引人的工作,提出了一个新的具有三个稳定平衡点的二次混沌系统,给出了这个新系统的耗散性分析、平衡点及稳定性、Lyapunov指数与分岔图的分析,研究了其局部的分岔性质,给出了退化奇异性的研究。同时设计了这个系统的电路原理图,从电路实验观测结果和数值模拟结果印证了彼此的一致。利用拓扑马蹄理论,通过数值方法验证了混沌马蹄的存在,由此证明了该系统是个混沌系统。（3）提出了一个四维的超混沌系统,通过不同参数情况观察,这个系统具有线型平衡点、一个平衡点或五个平衡点的情况,并研究了他们的稳定性。一般来说,具有线型平衡点的混沌系统含有隐藏吸引子,一直以来学界都比较关注这类系统。另外,也分析了其他动力学性质,如给出了相图分析、Lyapunov指数与分岔图的数值分析,其电路设计实验和数值模拟结果相互统一。从动力学行为上观察,这个系统的表现丰富,具有超混沌、混沌、周期性或拟周期等行为,发生混沌的情况下,是个四翼的混沌吸引子。对超混沌系统,其计算机辅助验证比较复杂,因为其有两个正的Lyapunov指数,在表现上,就是向两个方向延伸,需要三维空间才能给出比较清楚的阐述,最后给出了拓扑马蹄的证明过程。（4）利用双曲正切函数构建了一个非线性函数级数,以此来作为多卷波混沌系统的非线性函数,并给出了其电路的简要设计。分析了这个多卷波系统的平衡点及其稳定性,指出了其生成多卷波混沌吸引子的形成的机理。从分岔图发现,不同卷波数目在分岔图上密集点数目随着卷波数量增大而增大,而且是一致的。也可以利用相轨迹图中卷波的数目可以判断与Poincaré截面中密集点集团的数目一致,从而判定分岔图是否正确,反之亦是。因此,相轨迹图、分岔图与Poincaré截面是反映多卷波混沌吸引子同一问题的不同方面,它们构成一个统一的整体,彼此相互校核。最后给出了该混沌系统的简单电路图,这种复杂结构的动力系统能广泛用于混沌加密之中。（5）利用反正切函数构建了一个非线性的函数级数,并以这样的函数作为模板代替Rucklidge混沌系统的两个状态变量,由此而构成一个新的系统并且给出了该系统的简易电路图。分析了该系统的平衡点及其稳定性,指出多网格双卷波混沌吸引子的形成原理。分析了该系统的Lyapunov指数与分岔图,它们表现比较一致。在分岔图中,出现了条状的密集点块,且随着双卷波吸引子的增加而增加,由此也可以看出相图中双卷波吸引子与Poincaré截面中得到的密集点数目是一致的。给出了简单的电路图,这种特定结构的系统在混沌加密中能广泛使用。（6）在控制方面,首先,研究了基于滑模控制策略的分数阶混沌系统控制的一般方法;探讨了利用滑膜控制对具有不确定扰动的分数阶混沌系统在有限时间里同步进行了研究;进一步分析了在未知参数情况下分数阶系统的同步及参数辨识。其次,对含有不确定因素及外部扰动的混沌系统,进行了参数辨识的鲁棒同步研究;基于有限时间稳定理论,设计了相应的控制器和有效策略,最后使得参数得以正确估计,同时也使得系统在有限的时间里达到鲁棒同步。再次,对含有未知参数的、不确定与外部干扰的混沌系统,进行了鲁棒H同步研究,设计了相应的控制器与适应律,使得系统参数在内外扰动情况下,按照设计方式收敛,并给出严格的证明,得到了鲁棒H同步的充分条件。对以上三种控制方式,都给出了验证,实验结果表明这些方法是有效的,同时参数收敛与理论设想结果是一致的,说明这些方法有很好的鲁棒性、实用性,因而结论具有一般性。（7）提出了基于Arnold置乱变换的混沌图像加密方法。通过改造分数阶混沌序列,使其符合混沌序列的伪随机性、不可测性。将其作为密钥流对图像进行加密,加密之后的图像,使得密钥空间变大、敏感性提高、图像的信息熵增大、抗攻击力强等。由此表明,该算法具有良好的安全性和抗攻击能力。