到目前为止,我国的网络用户数已经接近我国总人口的50%,这充分地表明了互联网已经在人们的日常活动中得到了广泛的使用,并且极大地改变了人们的生活工作方式。因此,研究和分析互联网流量和网络用户行为已经成为网络研究工作的重要内容。与此同时,海量数据的不断产生也为互联网流量与用户行为的研究带来了挑战。本文的主要工作是运用数据挖掘算法和工具实现对大规模的网络流量和用户行为的研究与分析。具体来说,本文首先基于用户点击识别构建出对象级互联网流量分析模型——网页对象依赖图。该图模型描述了网页对象之间的依赖关系,具有维度高、稀疏、复杂,但局部稠密的特点。因此,为了深入研究该图模型的内部结构特征,本文设计并实现了一种协同聚类算法——非负矩阵分解算法,用于对大规模网页对象依赖图的分解,提取出四类典型的网页结构模式。最后,本文对这四类网页结构的特点和形成原因进行了深入研究与分析。本文的主要贡献包括以下三点:第一,本文创新性地提出了基于用户点击识别的对象级互联网流量分析模型——网页对象依赖图。该图模型描述了网络中用户请求的主对象和内嵌对象的依赖关系,为进一步研究和挖掘网页结构模式提供了有效的数学模型。第二,本文基于Spark分布式架构实现并优化了并行正交非负矩阵分解(ONMTF)算法。该算法可以实现对高维、稀疏的非负矩阵的降维,同时分解结果的非负性和近似正交性使其具有更强的解释能力。基于SVD的矩阵初始化方法使ONMTF算法可以得到较好的局部最优解。第三,本文利用并行的ONMTF算法实现了对大规模网页对象依赖图的分解,提取出四类典型的网页结构,从而挖掘出网络中存在的网页结构模式。