波前编码技术是一种计算成像技术，结合光学系统与图像处理来扩大光学系统的景深。波前编码技术拥有传统光学无法比拟的优势，但其两步成像的特性不符合原有光学系统的理论体系。本文针对波前编码系统的成像特性和优化理论，致力于波前编码光学系统的相位传递函数研究以及相位板设计方法研究，进一步完善波前编码技术的理论体系，为其更广泛的应用奠定基础。本文推导奇对称二次相位波前编码系统的相位传递函数解析式，根据相位传递函数解析式，对相位传递函数的离焦变化特性进行研究。通过对三种相位板组成的波前编码系统进行比较，分析相位传递函数离焦差异引起的成像特性变化。本文提出一种基于Matlab-CodeⅤ接口的相位板参数优化方法，结合点扩散函数稳定性的评价函数，对波前编码系统中三种形式相位掩膜板参数进行优化。通过对显微物镜组成的波前编码系统的离焦不变特性和图像恢复特性进行分析，验证了本方法的有效性和精确性，并对三次、正切、指数形式相位板的性能进行对比。针对波前编码系统图像复原过程信噪比(SNR)的变化特性，本文建立简化的波前编码系统的频率SNR模型和基于SNR特性的约束条件模型。最后，结合相位传递函数一致性的评价函数，以双高斯形式的波前编码光学系统为实例，对相位传递函数理论研究和建立的优化设计方法进行了验证。