扩散光学层析成像技术是一种具有广泛应用前景的新兴成像模态。相比于现有的成像技术,扩散光学层析成像具有无创性、数据采集快、可提供组织体解剖信息和生理功能信息等优势。它以近红外光作为光源向组织体进行照射,光经过组织体的散射和吸收作用后一部分光会出射到组织体表面,利用探测器测量这部分出射光的光强,再选取适当的光子模型和重建算法推测组织体内部光学参数的分布情况。常用的光子传播模型包括辐射传输方程和扩散近似方程,辐射传输方程被认为是描述光子运动的“金标准”;而扩散近似方程不能准确描述光在低散射区域的传播过程并且对入射光源和探测器之间的距离也有一定要求,在实际应用中存在一定局限性。在扩散光学层析成像中,由于光子在组织体内的多次散射行为、实验中的噪声干扰以及测量数据不足,使得光学参数重构反问题呈现出高度不适定性。为了解决重构问题的不适定性,提高重构图像的精度和成像效率,本文以辐射传输方程作为光子传播模型,构造了多种正则化重构框架,证明了所构造正则化方法解的适定性,提出了相应的快速求解算法,并通过数值模拟对所提出方法的可行性及有效性进行验证。迭代正则化方法是求解不适定反问题的有效方法之一。由于包含角度变量和空间变量,基于辐射传输方程的成像问题在数值计算时规模较大,故发展快速、有效的迭代正则化方法对扩散光学层析成像的发展十分必要。本文基于同伦摄动迭代方法,结合Nesterov加速方法,构造了加速同伦摄动迭代正则化方法。在迭代正则化方法的一般性假设条件下,证明了算法的收敛性。将加速同伦摄动迭代算法应用于扩散光学层析成像,并与原始的同伦摄动迭代和已有的两点加速算法在重构精度和速度等方面进行比较。结果表明加速同伦摄动迭代法显著地缩短了成像所需时间。为了同时满足对异常体光学参数分布的稀疏性的刻画以及边界保持的成像需要,提出了TV与L~1混合正则化的重构框架,并给出了在定义域内其极小解的存在性、稳定性和收敛性的理论证明。在数值求解方面,对TV范数引入重复加权策略促进梯度稀疏,并采用分裂-Bregman算法求解。通过与单独的TV和L~1正则化方法相比,本文所提出的混合正则化方法的重构结果更为准确,其既具有TV正则化方法的边界保持作用,同时又具有L~1正则化方法对“尖点”等细节信息的有效识别能力。此外,以乳腺肿瘤成像为背景的数值模拟验证了混合正则化方法在实际应用中的可行性。针对含有真空层或透明层的复杂组织体的双参数识别问题,为进一步加强边界识别效果,提出了边界诱导TV~p(0<p<1)正则化方法,在H~1(X)空间的正则性下,证明了该方法极小解的存在性。在数值求解中,提出了延迟扩散-Newton算法。此外,利用归一化策略有效地减轻了双参数重构中的交叉恶化现象,进一步提高了反演精度。数值结果表明,边界诱导TV~p正则化方法比?~p以及TV正则化方法在对异常体形状、尺寸以及光学参数值的识别等方面具有明显优势,能够提供含有透明层和真空层的组织体的准确成像结果,同时在测量数据减少一半的情况下也可获得较好的反演结果。