1963年,混沌之父、美国科学院院士Lorenz在研究大气湍流现象时发现了混沌现象,进一步验证了19世纪法国科学家庞加莱最初对于三体运动中混沌的猜想。混沌现象随处可见,它几乎渗透到了社会中的每一个角落。在非线性科学中,混沌理论无疑是其关键分支,对该系统的研究主要涉及到应用和理论层面。近年来,数字信息开始借助于网络展开共享。图像以其直观性、生动性、交互性等优点成为一种重要的信息载体。由于网络的开放性,信息安全受到威胁,因此保护信息使其不被攻击者窃取攥改变得极为重要。本文首先提出了一种混沌系统,从理论层面对其动力学展开分析,并对其进行了仿真,对其混沌特点进行了验证。最后,基于混沌系统并结合DNA算法设计了一种彩色图像加密方案,验证该方案具有较高的应用价值。主要研究工作如下:（1）基于混沌理论,对混沌的定义、特征以及判定准则进行了详细介绍和分析。基于密码学的基础知识和相关理论,对DNA密码学、DNA编码和DNA计算进行了总结和论述。（2）设计了一个新三涡卷混沌系统。建立该系统的数学模型,利用四阶龙格库塔算法进行数值求解。通过多种动力学分析方法及MATLAB数值仿真,在合适的参数范围内,验证了该混沌系统具有复杂的混沌吸引子。（3）设计了一种基于混沌系统和DNA编码的图像加密方案。这是对图像信息进行安全保护的重要路径,设计新型的图像加密算法更是成为当今极为重要的研究热点。对于当前几种常见的图像加密方法已经无法抵御选择明文攻击的问题,本文提出了先对原始图像进行一次Arnold变换置乱的预处理,接着对变化之后的一次加密图像展开DNA加密运算,从而实现双重加密,进而对算法的安全性进行提升,并对不同的攻击能力进行抵抗。通过对加密性能进行分析发现,所设计的加密方案具有良好的加密性能和较高的安全性且易于实现,因此该加密算法可以较好地应用在图像加密领域中。