随着计算机技术的快速发展和临床医疗水平的不断提升,虚拟手术系统已成为外科手术训练、术中导航、手术方案制定以及手术结果预测等方面不可或缺的辅助工具。然而,虚拟手术系统的研究属于多学科交叉的前沿技术领域,研究难度较大。由于细长结构的软组织刚度较低,在一定的载荷下,即使应变很小,也会产生较大的位移,从而出现几何非线性变形的问题。作为虚拟手术系统中的核心部分,传统的软组织形变建模方法在变形的精度和实时性方面无法达到预期的效果。因此,本文利用斯坦福3D扫描存储库中的模型文件,以大变形下基于FEM模型的软组织形变建模作为研究内容,围绕软组织形变的精度和实时性展开深入的研究,主要工作如下:（1）针对栅格法的网格密度难以控制,需要不断调整的问题,提出了基于八叉树结构的FEM网格生成算法。基于递归细分立方体数列形成八叉树的树枝,每个节点对应三维空间的立方体区域。通过树的遍历算法查找节点,也可以在某个节点上递归生成新的节点,具有良好的拓扑结构。利用八叉树核心六面体网格建立线弹性FEM模型。针对显示积分的数值稳定性依赖于时间步长而无法保证稳定的问题,采用无条件稳定的Newmark-β隐式积分方法。实验表明线弹性FEM模型的最佳剖分深度为5,最优形变精度为10-9。（2）针对基于线弹性FEM模型的软组织大变形出现错误效果的问题,采用基于极分解变形梯度提取共旋矩阵的算法,建立了 Co-rotational FEM模型。为降低计算量,采用线性柯西应变张量替代传统的非线性格林-拉格朗日应变张量。实验表明,在保证10-9形变精度不变的条件下,消除了线弹性FEM模型在形变程度过大时出现体积不自然增加的现象。（3）针对基于极分解的Co-rotational FEM模型虽可以保持较高精度但开销大,无法保证软组织形变的实时性的问题。本文提出了基于软组织形变程度的自适应六面体旋转矩阵提取方法,对于大变形区域,采取极分解法确保变形效果的真实性,对于其他区域则采用SVD分解法来确保变形的实时性。针对变形区域的划分,提出了基于六面体网格的质心位移的判定方法。本文实验结果表明,基于软组织形变程度的自适应六面体旋转矩阵提取方法的Co-rotational FEM模型能够保证10-9变形精度的前提下,将软组织的变形时间提高1倍左右。