数字图像的安全问题已经成为人们广泛关注的焦点问题,而图像加密正是保障图像安全的一种关键技术。随着对基于分数傅里叶变换的图像加密算法的深入研究,众多学者对“分数阶”的概念进行推广,得到新的分数阶变换,并将之引入到图像加密中,构造新的图像加密系统。但大部分基于分数阶变换的图像加密的变换结果为复数,这增加了存储和传输的负担。Venturini对分数变换的结果进行保实处理,使得变换的结果为实数。为了获取保实特性,必须构造保实变换矩阵,但这个矩阵并没有继承非保实分数变换的所有性质。目前,分数保实变换及其在图像加密中的应用尚存在如下问题：(1)分数阶作为密钥的敏感性不够高,这是因为,以分数阶作为自变量,变换函数是分数阶的连续函数；(2)傅里叶变换的光学实现技术虽然比较成熟,但保实变换(例如离散余弦变换)的光学实现尚无报道。因此本文在G. Cariolaro的基础上推导了分数离散余弦变换(FrDCT)的保实形式及其衍生的变换形式。FrDCT的计算可以通过整数倍的离散余弦变换(DCT)来实现,这为FrDCT的光学实现打下了基础。本文的主要工作及研究成果如下：(1)提出了不同形式的保实FrDCT变换。根据离散傅里叶变换(DFT)、DCT和FrDCT之间的关系,提出了DCT和FrDCT的光学实现方案。由于FrDCT的计算可以通过整数倍的DCT来实现,DCT和DFT之间数学上具有明确的关系,所以可以借助DFT光学系统实现方法设计DCT和FrDCT的光学实现方案。(2)利用FrDCT的实值输出特性和去相关性,提出了基于不同形式FrDCT的保实图像加密方案。通过引入生成序列(GS)解决了FrDCT计算中分数算子非唯一性的难题。变换的实值输出特性有利于图像的存储和传输。在随机分数阶及随机GS的FrDCT(RFrDCT)中,分数阶和GS都进行了向量化处理。基于RFrDCT的图像加密,不仅增大了分数阶本身及整个加密系统的密钥空间,而且还增强了解密图像质量对密钥的敏感性。(3)为了解决单纯基于FrDCT的图像加密方案安全性不高的问题,提出了基于多生成序列的FrDCT(MGSFrDCT)和耦合置乱扩散(DSD)的图像加密方案。MGSFrDCT中的多GS大大地增大了加密系统的密钥空间。为了进一步提高加密系统的安全性,在变换系数量化后执行DSD操作。DSD使得解密图像的质量对明文具有很强的敏感性,而且同时完成了置乱和扩散操作。为了减少量化误差和节省FrDCT实现的运算量,提出了基于多项式内插实现的FrDCT(PI-FrDCT)和非线性函数相结合的图像加密方案,加密的图像具有抵抗统计攻击、已知明文攻击和选择明文攻击的能力。(4)针对彩色RGB图像三分量具有较强的相关性,本文提出了基于HSI空间的彩色图像加密算法。RGB到HSI之间的空间转换是非线性的,而且HSI能够解耦RGB空间的三个分量。空间转换的非线性和HSI空间相互独立的三个变量使得提出的加密算法与线性的加密算法相比更安全。为了增强加密系统的敏感性,二维混沌映射产生整数的GS确保了FrDCT变换矩阵的唯一性和增大了加密系统的密钥空间。实验结果表明,提出的加密算法对密钥是敏感的,能够抵抗一定程度的噪声攻击和裁剪攻击。(5)提出了基于压缩感知(CS)和混沌映射的图像加密方案。基于压缩感知(CS)的图像加密同时实现了压缩和加密,降低了加密图像的存储和传输负担。该方案中采用可变参数控制的混沌映射产生测量矩阵,增大了加密系统的密钥空间。在此基础上,提出了将FrDCT与CS相结合的图像加密方案,提高了加密系统的安全性能。