随着互联网技术的蓬勃发展,越来越多的用户都参与到其中。但互联网在丰富人们生活的同时也出现了令人堪忧的问题,比如大量的不良网页充斥在网络上,对人们的身心健康、财产安全都产生了巨大威胁。而如何识别这些不良网页,一直以来都是网络安全从业者的首要任务。目前存在的网页识别技术对于一些简单的非法网站有一定的检测效果,但是对于大肆传播的、隐蔽性强的不良网页尚不能完全、及时、有效地检测。从人类角度来看,我们是可以轻松的识别出哪些网页是相似的,哪些是不相似的,这归因于我们对网页的语义信息与视觉信息的理解。本论文主要基于人类理解网页的方式,尝试去提取网页内容语义特征与视觉特征,从而进行网页的相似度识别。对于网页语义相似度识别方面,本文提出基于word2vec词向量的技术方案。具体的,对于每个网页,在经过预处理后,对其进行基于TF-IDF的关键词提取作为网页摘要信息,之后利用word2vec将这些摘要信息映射到词向量空间中生成网页特征向量,最终我们利用余弦相似度来比较两个网页特征向量的相似程度。本文设计了网页聚类实验来证明本文提出语义相似度计算方案的有效性,本文采集到了wiki百科中文语料库来训练词向量,同时采集到了搜狗新闻语料库并提取了其中8类数据作为聚类数据,最终成功的通过本文的语义相似度计算方法将数据聚为了8类,且类内纯度较高。对于网页视觉相似度识别方面,本文采用了网页分块技术对网页进行视觉块的划分,之后对于每个视觉块都进行基于感知哈希的视觉特征提取,然后进行视觉树重构,将网页视觉块集合重构成为一棵视觉树,每个树节点存储该视觉块的视觉特征,最终对于每个网页生成的视觉树,本文提出了基于汉明距离与树的编辑距离的视觉相似度计算方法对其进行计算。本文设计了三个实验来验证本文视觉相似度计算方法的有效性,分别为网页分组实验、网页聚类实验、网页识别实验。网页分组实验采集了8个真实网页与其对应的钓鱼网站,共计12组网页;网页聚类实验采集了多个网站的首页的多年的变化情况作为聚类数据集,共计71个网页,12个类别;网页识别实验中,采集了1051个网页,其中51个为目标网页,1000个其他网页。最终三个实验取得了较好的效果,证明了本文提出视觉相似度识别方案的有效性。