血管图像分割是血管成像系统中的关键技术，是血管三维可视化、形态学测量等后续处理和分析步骤的必要前提。目前，血管分割技术主要应用在手术导航、介入式治疗、病理跟踪等方面。同时，血管的精确分割可以辅助医生诊断血管疾病并确定治疗方案，提高诊疗方案的可靠性。因此，血管分割技术在临床治疗中发挥着重要作用。本文研究基于水平集框架的血管分割算法。围绕血管的先验形状信息、血管图像降质等展开研究工作，深入研究了基于正交张量不变量的多尺度血管增强算法、基于先验形状活动轮廓模型的血管分割算法和基于最小曲率光滑和管状约束的三维血管分割算法。论文的研究工作主要体现在如下三个方面。针对现有的血管图像增强算法难以准确获得最优参数的问题，提出了基于正交张量不变量的多尺度血管增强算法。使用机械应力张量分析的方法分析Hessian矩阵，以增强血管状目标的算法。现有的血管增强算法使用Hessian矩阵的特性构造血管相似性函数，并根据血管相似性函数对血管目标进行增强，但是该方法很难获取最优的参数。本文将图像的Hessian矩阵和机械应力张量联系起来，通过分析Hessian的各向异性分数构造血管相似性函数，对图像中的血管状结构目标进行识别，并得到图像的血管状结构特征。克服了血管增强过程中需要根据经验调节参数的缺点，具备很强的自适应处理能力。针对灰度不均匀的弱边缘血管图像分割中，容易出现边缘泄漏和误分割问题，提出基于先验形状活动轮廓模型的血管分割算法。该算法充分使用了区域、边缘和无需样本训练的先验形状等信息。在能量函数中，利用最小方差能量项以保证分割结果的全局最优性，提高抗噪声能力；利用图像梯度矢量场与演化轮廓的对准项来提高模糊图像的边缘定位精度；使用血管增强特征函数构造血管先验形状，并使用血管先验形状指导活动轮廓模型演化。该算法可以分割灰度分布严重不均的血管图像和弱边缘的血管目标，提高了分割精度和准确性。针对现有的三维血管分割算法难以分割低对比度血管和细小血管的问题，提出了基于最小曲率光滑和管状约束的三维血管分割算法。在三维血管先验形状曲面的提取过程中，使用图像Hessian矩阵的各向异性分数与各向异性模式两个正交张量不变量来建立三维血管相似函数。根据血管相似函数临界值得到血管的先验形状，并用水平集符号距离隐式表达形状曲面。在三维曲面规则化时采用曲面的最小主曲率，最小主曲率不但可使血管曲面光滑，而且不会改变曲面形状。通过分割临床图像，证明了本文方法的有效性，并且与经典的活动轮廓模型比较，基于最小曲率光滑和管状约束的三维血管分割算法更精确，棒性更好，更适合自动分割三维血管。