随着“互联网+”、云计算、人工智能等技术的不断广泛应用和深入发展,数据处理技术成为上述研究方向的基础。从多元、非结构化的数据中挖掘出有价值的信息是目前大多数学者研究的主要方向。基于此,本文针对机械零件行业中,普遍存在采购信息不透明、决策不易等问题,对电商平台的机械零件数据进行了相关研究。主要包括设计了一款基于模块设计的智能爬虫系统以高效精准的获取目标零件信息数据,对获取的数据应用基于层次划分的K-means算法和K-means++算法分别对结构化和非结构化文本数据进行无监督聚类分析,以此为最终的采购决策提供依据。本文各章节安排如下:第一章,首先介绍了数据分析与挖掘技术的背景和重要性,提出数据应用过程中存在的主要问题,详细论述了数据采集和数据挖掘的国内外研究现状。以此给出了本文主要的研究内容、主体框架。第二章,提出基于模块设计的智能爬虫系统,从工程创建、数据结构定义、Xpath解析和数据存储完成基本模块设计,由爬虫提速模块、反爬虫处理、无效文本过滤和数据预处理模块完成基于模块化的智能爬虫设计,并获取了网页数据。第三章,针对机械零件数据的特征提出了基于K-means优化的聚类数据分析算法。对于结构化数据,本文提出基于层次划分的K-means聚类算法,通过异常值处理、最佳K值选取和层次法选取初始中心点三方面对K-means聚类算法进行了优化,并对分类结果进行可视化;对于非结构化数据,通过文本分词、向量化、特征提取几个方面将其转化为结构化数据,利用K-meanS++算法完成文本的特征分类,最终获取分析后的机械零件信息,为决策提供指导。第四章,完成了零件采购数据服务系统的开发,并进行界面测试和功能测试,并以轴承为例,验证了系统的可操作性。第五章,对全文工作内容进行总结,并针对本文的数据挖掘算法中存在的不足之处,说明未来需要解决的问题和研究方向。