随着世界上大型科学装置(例如美国放射性束流装置（RIA）、日本理化研究所的放射性同位素核束装置)的建立和运行，原子核物理再度成为了科学界的焦点之一，虽然原子核壳模型为我们提供了一个原子核结构理论的坚实基础，但是他的组态空间是非常巨大的以至于当今世界上最强大的超级计算机也无法处理中重核的问题。因此我们对原子核壳模型采取各种组态截断是必须的。其中有大量的工作试图将巨大的原子核壳模型空间截断为核子对子空间。另一方面，慢中子散射实验得到的非常密集的巨共振能谱是壳模型无法解释的，魏格纳等人引入了随机矩阵理论并成功的研究了原子核能谱的统计性质。这两种物理图像完整地描述了原子核结构的图像。在第一章我们简要的介绍了原子核壳模型和随机矩阵的一些基本概念。在原子核壳模型部分我们简要介绍了单粒子模型以及单粒子能级加上剩余两体相互作用壳模型哈密顿量；在随机矩阵理论部分我们简要的介绍了高斯正交系综和随机两体系综以及他们的应用（包括最近邻能级间隔分布、能级刚度以及随机相互作用下原子核的性质）。在第二章我们研究了随机矩阵（包括随机两体系综和高斯正交系综）的最小本征值问题。我们给出了以一个使用随机矩阵本征值中心值以及能谱宽度的经验公式。此经验公式同时适用于费米子系统和波色子系统。然后我们通过引入高阶矩（三阶矩）改善了经验公式预言基态能级的精度。最后我们将此经验公式推广到了随机相互作用下原子核低激发态能级上。除了研究随机矩阵系综的本征值问题以外，我们还研究了随机矩阵本征值与对角元的相关性，我们发现壳模型以及随机两体系综的哈密顿量的本征能量与对角元曾在一个非常好的线性关系。通过这个线性关系我们可以不对角化哈密顿量直接预言所有本征能量。我们还发现对于高斯正交系综其本征值与对角元存在着双曲正切的函数关系。在第三章里我们研究了原子核壳模型哈密顿量矩阵元分布的几何结构。通过将壳模型的基矢按照哈密顿量对角元排序我们可以按照基矢的能量对壳模型空间做组态截断。我们提出了截断空间下哈密顿量本征能量与位数的自然对数的线性外推关系。我们发现线性外推方法可以很好的适用于sd壳和pf壳。在此基础上我们将微扰方法和外推方法结合在一起得到了二次外推方法。我们通过这一结合将我们预言低激发态能谱的精度控制在了40–60keV。最后我们通过将壳模型哈密顿量表示为截断空间下的有效哈密顿量形式的得到了各阶微扰的一般形式。我们举例说明了高阶微扰可以大为改善截断空间下能级和波函数预言的精度。在附录中给出我们一些进行中的工作：原子核壳模型的随机矩阵模拟（A）；组态近似方法在随机矩阵上的应用（B）；原子核壳模型的配对近似方法在208铅区域中原子核的应用（C）。