论文部分内容阅读
摘要：基于XML的半结构化数据挖掘技术，探讨了如何对Web上的信息进行更加有效的挖掘和整理。
关键词：XML；半结构化数据挖掘
中图分类号：TP311.13
随着因特网的发展，数据信息来源种类逐渐增多，相应的信息复杂性也在增加，传统的数据存储和处理方式已经不能很好的满足实际使用与研究的需求，XML作为一种半结构化数据标准，已经开始被越来越广泛的应用，而对于此类结构化数据的挖掘也为我们的日常研究提供了一个方向。
对于半结构化数据源的挖掘不同于传统的数据挖掘。传统的数据库中的数据类型工整，数据结构性很强，为完全的结构化数据，因此对于此类数据处理较为简单，只需要按照其规律进行分析即可。而对于半结构化的数据则因其表现形式的多样性，所以对其挖掘要比对于单个数据仓库的数据挖掘要复杂。
1半结构化数据
半结构化数据有两种，一种是指该数据在物理层面上缺少结构，另外一种是指该数据在逻辑层上缺少结构。在现有的Web环境中，有一些结构化的数据，为了用于网页页面显示而采用了与HTML语言标记符号嵌套的方式，因此就构成了第一种物理上的半结构化数据。另外网络中有众多的Web页面，页面上有着丰富的数据内容，这些数据大多都以HTML文件的方式存在，并没有严格的结构和类型定义，这样的数据都属于第二类的逻辑层的半结构化数据。网络页面上的数据与传统数据库中存储的数据不同，传统数据库内的数据都有一定的数据模型，每个特定的数据都可以根据模型来进行描述，而网络页面上的数据很复杂，并且不能按照特定的模型进行描述，每一个站点的数据都遵循其独立的设计规则，并且它的数据本身具有自我描述的特性和动态的可变性。因此网络页面上的数据具有一定的结构性，但是其因为具有自述层次的存在，因此属于一种非完全结构化的数据，也称为半结构化数据。
2半结构化数据的来源
（1）在Internet上因为对所存储的数据没有严格模式的限制而产生的半机构化数据，常见的有HTML、XML、SGML等类型的文件。
（2）在电子邮件、电子商务文件、文献资料等文件中，由于没有严格的格式要求，所以存在着大量结构与内容不固定的半结构化数据。
（3）在包含有异构信息源集成的情况下，由于信息源集成范围广泛，对于信息源的存取范围包括各类数据库、电子图书馆、知识库和文件系统等，因此也会产生半结构化数据。
3半结构化数据的几个特点
（1）包含有隐藏的模式信息。虽然说半结构化数据具有一定的结构，但是由于数据和结构混合在一起，所以并没有明显的模式定义。
（2）结构不规则。半结构化数据的一个数据集合可以由不同结构的元素组成，或者在某些情况下使用不同类型的数据来表示相同的信息。
（3）类型约束不严格。半结构化数据由于没有预先确定的表达模式，并且数据在结构上没有遵循相同的规则，因此会导致其缺乏对于数据的严格约束。
基于以上几个半结构化数据模型的特点可以看出半结构化数据缺乏严格、完整的数据结构，但是这类数据并非没有结构，但是它们的结构可能是隐藏的、并不完整的，并且可能是需要不断进行修改的。
半结构化数据的模式与以往的关系数据模式或者面向对象的数据模式最大的区别在于半结构化数据是现有数据然后再有模式。不对数据的结构进行强制性的约束，只需要描述出数据的结构信息，并且它只描述数据部分结构的非精确模式，在应用中随着数据对象的不断更新而动态修改其描述，据此分析半结构化数据的数据特点和它所产生的原因，半结构化数据源的挖掘是能够实现的。
半结构化数据源挖掘技术首先要解决的是数据远模型及其查询与集成的问题。要解决网页页面上的异构数据的集成与查询，就必须要有一个适当的模型来对这些数据进行清晰的描述，因此如何创建这个半结构化的数据模型就成为了解决问题的关键所在。首先我们需要定义一个半结构化数据模型，其次我们还需要一种适用于此模型的半结构化模型挖掘技术用来的从现有的数据中自动挖掘半结构化模型。对于网页页面数据的挖掘就必须以此半结构化数据模型和半结构化数据模型挖掘技术为手段来建立相应的数据库。
在针对多数据源的数据库进行半结构化数据提取、表示和查询的处理一般采用包装的方式来进行。首先把信息源的数据通过包装转换成为目标数据库所使用的格式和类型。同时处理过程中负责监视的部分将自动监测信息中的数据变化，如果发现数据有变化则将这些变化上报，这些变化经过分析发现有新的数据源连接仓库系统或者信息源发生变化时，那么系统就会把这些有变化的数据进行过滤、汇总，并把这些信息源进行汇总处理，并将收集到数据库中。
此系统对半结构化数据进行处理的过程中所面临的主要问题就是如何将其转化为更易于处理的结构化信息。但是对这些半结构化数据进行转换的目标是庞大的网页页面数据源，如果依靠人工手段针对每个数据源编写相应的转换方式的话工作量非常代价。因此，我们需要一种能够快速建造并且直至自动维护的转换工具。目前这类工具还不是很多，并且使用上并不十分完善。但是，随着近年来XML及其应用技术的发展为处理半结构化数据提供了很好的工具和方法。
4XML有如下几个特点
（1）XML语法具有严格的标记规定；
（2）XML对于各元素之间的顺序有着严格的先后顺序，是按照相应的解释模式来排列的；
（3）XML中的元素可以包含有多个属性值。基于以上几个特点，如今XML已经成为正式规范，开发人员已经开始使用XML格式的标记和交换数据。XML在网页数据挖掘中可以用于建立信息源层的数据集成，即构建数据仓库），也可以用于将信息处理结果以XML的形势发往数据仓库，也可以基于数据仓库将数据进行挖掘和分析处理，还可以将半结构化数据挖掘处理的结果送往应用层。
基于XML的网页页面信息提取一般包括页面捕获、页面预处理和半结构化数据提取等方面。其中页面捕获有多种方法，一种是直接利用OCX控件，根据提供的入口参数URL来获取页面超文本内容；另外一种是利用开发工具所提供的支持网页文本获取的功能接口来获取。
XML为基于Web的应用提供了强大的功能和广泛的灵活性，它能为开发者带来更多的好处，例如Web数据可以按照XML的格式进行唯一性的表示，因此可以进行更有意义的搜索。有了XML之后，搜索软件可以不必了解每个数据库都是如何构建的。在使用XML之前由于每个数据库描述数据的格式几乎都不相同并且数据来源广泛，所以针对不同来源数据进行搜索几乎是不可能的。但是XML语言能够将不同来源的半结构化数据进行结合，相关应用集成上可以使用中间层服务器对采集上来的半结构化数据进行挖掘，然后将处理后的数据发送到最终用户或者其他服务器做进一步的处理。
XML的丰富扩展性和灵活性使它能够描述不同类型应用中的数据，并且XML文档因为是对象模式，因此它允许使用脚本或者其它編程语言进行数据处理，数据计算不需要返回到服务器就可以操作。在Web中XML可以被用来分离使用者浏览的数据页面，可以用简单灵活和开放的格式为Web创建功能强大的云应用，通过创建高效的云计算平台来为用户服务，而以前此类软件只能依靠高端数据库来构建。
5结束语
XML作为一种结构化数据的工作也标准，为广大组织、开发者、网站和终端使用者提供了有利的条件，随着XML作为WEB上进行数据交换的一种标准方式的逐步发展，基于XML的半结构化数据挖掘将会变得越来越轻松。
参考文献：
[1]李效东,顾毓清.基于DOM的Web信息提取[J].计算机学报,2002(5):526-533.
[2]宋中山,曾广平.基于XML的Web数据挖掘技术[J].中南民族大学学报,2005(1):64-67.
[3]Meng XF,Zhou LX,Wang S.State of the art and trends in database research．Journal ofSoftware,2004,15(12):1822-1836.
[4]Jiawei Han,Mieheline Camber,范明,孟小峰译.数据挖掘概念与技术[M].北京:机械工业出版社,2001.
关键词：XML；半结构化数据挖掘
中图分类号：TP311.13
随着因特网的发展，数据信息来源种类逐渐增多，相应的信息复杂性也在增加，传统的数据存储和处理方式已经不能很好的满足实际使用与研究的需求，XML作为一种半结构化数据标准，已经开始被越来越广泛的应用，而对于此类结构化数据的挖掘也为我们的日常研究提供了一个方向。
对于半结构化数据源的挖掘不同于传统的数据挖掘。传统的数据库中的数据类型工整，数据结构性很强，为完全的结构化数据，因此对于此类数据处理较为简单，只需要按照其规律进行分析即可。而对于半结构化的数据则因其表现形式的多样性，所以对其挖掘要比对于单个数据仓库的数据挖掘要复杂。
1半结构化数据
半结构化数据有两种，一种是指该数据在物理层面上缺少结构，另外一种是指该数据在逻辑层上缺少结构。在现有的Web环境中，有一些结构化的数据，为了用于网页页面显示而采用了与HTML语言标记符号嵌套的方式，因此就构成了第一种物理上的半结构化数据。另外网络中有众多的Web页面，页面上有着丰富的数据内容，这些数据大多都以HTML文件的方式存在，并没有严格的结构和类型定义，这样的数据都属于第二类的逻辑层的半结构化数据。网络页面上的数据与传统数据库中存储的数据不同，传统数据库内的数据都有一定的数据模型，每个特定的数据都可以根据模型来进行描述，而网络页面上的数据很复杂，并且不能按照特定的模型进行描述，每一个站点的数据都遵循其独立的设计规则，并且它的数据本身具有自我描述的特性和动态的可变性。因此网络页面上的数据具有一定的结构性，但是其因为具有自述层次的存在，因此属于一种非完全结构化的数据，也称为半结构化数据。
2半结构化数据的来源
（1）在Internet上因为对所存储的数据没有严格模式的限制而产生的半机构化数据，常见的有HTML、XML、SGML等类型的文件。
（2）在电子邮件、电子商务文件、文献资料等文件中，由于没有严格的格式要求，所以存在着大量结构与内容不固定的半结构化数据。
（3）在包含有异构信息源集成的情况下，由于信息源集成范围广泛，对于信息源的存取范围包括各类数据库、电子图书馆、知识库和文件系统等，因此也会产生半结构化数据。
3半结构化数据的几个特点
（1）包含有隐藏的模式信息。虽然说半结构化数据具有一定的结构，但是由于数据和结构混合在一起，所以并没有明显的模式定义。
（2）结构不规则。半结构化数据的一个数据集合可以由不同结构的元素组成，或者在某些情况下使用不同类型的数据来表示相同的信息。
（3）类型约束不严格。半结构化数据由于没有预先确定的表达模式，并且数据在结构上没有遵循相同的规则，因此会导致其缺乏对于数据的严格约束。
基于以上几个半结构化数据模型的特点可以看出半结构化数据缺乏严格、完整的数据结构，但是这类数据并非没有结构，但是它们的结构可能是隐藏的、并不完整的，并且可能是需要不断进行修改的。
半结构化数据的模式与以往的关系数据模式或者面向对象的数据模式最大的区别在于半结构化数据是现有数据然后再有模式。不对数据的结构进行强制性的约束，只需要描述出数据的结构信息，并且它只描述数据部分结构的非精确模式，在应用中随着数据对象的不断更新而动态修改其描述，据此分析半结构化数据的数据特点和它所产生的原因，半结构化数据源的挖掘是能够实现的。
半结构化数据源挖掘技术首先要解决的是数据远模型及其查询与集成的问题。要解决网页页面上的异构数据的集成与查询，就必须要有一个适当的模型来对这些数据进行清晰的描述，因此如何创建这个半结构化的数据模型就成为了解决问题的关键所在。首先我们需要定义一个半结构化数据模型，其次我们还需要一种适用于此模型的半结构化模型挖掘技术用来的从现有的数据中自动挖掘半结构化模型。对于网页页面数据的挖掘就必须以此半结构化数据模型和半结构化数据模型挖掘技术为手段来建立相应的数据库。
在针对多数据源的数据库进行半结构化数据提取、表示和查询的处理一般采用包装的方式来进行。首先把信息源的数据通过包装转换成为目标数据库所使用的格式和类型。同时处理过程中负责监视的部分将自动监测信息中的数据变化，如果发现数据有变化则将这些变化上报，这些变化经过分析发现有新的数据源连接仓库系统或者信息源发生变化时，那么系统就会把这些有变化的数据进行过滤、汇总，并把这些信息源进行汇总处理，并将收集到数据库中。
此系统对半结构化数据进行处理的过程中所面临的主要问题就是如何将其转化为更易于处理的结构化信息。但是对这些半结构化数据进行转换的目标是庞大的网页页面数据源，如果依靠人工手段针对每个数据源编写相应的转换方式的话工作量非常代价。因此，我们需要一种能够快速建造并且直至自动维护的转换工具。目前这类工具还不是很多，并且使用上并不十分完善。但是，随着近年来XML及其应用技术的发展为处理半结构化数据提供了很好的工具和方法。
4XML有如下几个特点
（1）XML语法具有严格的标记规定；
（2）XML对于各元素之间的顺序有着严格的先后顺序，是按照相应的解释模式来排列的；
（3）XML中的元素可以包含有多个属性值。基于以上几个特点，如今XML已经成为正式规范，开发人员已经开始使用XML格式的标记和交换数据。XML在网页数据挖掘中可以用于建立信息源层的数据集成，即构建数据仓库），也可以用于将信息处理结果以XML的形势发往数据仓库，也可以基于数据仓库将数据进行挖掘和分析处理，还可以将半结构化数据挖掘处理的结果送往应用层。
基于XML的网页页面信息提取一般包括页面捕获、页面预处理和半结构化数据提取等方面。其中页面捕获有多种方法，一种是直接利用OCX控件，根据提供的入口参数URL来获取页面超文本内容；另外一种是利用开发工具所提供的支持网页文本获取的功能接口来获取。
XML为基于Web的应用提供了强大的功能和广泛的灵活性，它能为开发者带来更多的好处，例如Web数据可以按照XML的格式进行唯一性的表示，因此可以进行更有意义的搜索。有了XML之后，搜索软件可以不必了解每个数据库都是如何构建的。在使用XML之前由于每个数据库描述数据的格式几乎都不相同并且数据来源广泛，所以针对不同来源数据进行搜索几乎是不可能的。但是XML语言能够将不同来源的半结构化数据进行结合，相关应用集成上可以使用中间层服务器对采集上来的半结构化数据进行挖掘，然后将处理后的数据发送到最终用户或者其他服务器做进一步的处理。
XML的丰富扩展性和灵活性使它能够描述不同类型应用中的数据，并且XML文档因为是对象模式，因此它允许使用脚本或者其它編程语言进行数据处理，数据计算不需要返回到服务器就可以操作。在Web中XML可以被用来分离使用者浏览的数据页面，可以用简单灵活和开放的格式为Web创建功能强大的云应用，通过创建高效的云计算平台来为用户服务，而以前此类软件只能依靠高端数据库来构建。
5结束语
XML作为一种结构化数据的工作也标准，为广大组织、开发者、网站和终端使用者提供了有利的条件，随着XML作为WEB上进行数据交换的一种标准方式的逐步发展，基于XML的半结构化数据挖掘将会变得越来越轻松。
参考文献：
[1]李效东,顾毓清.基于DOM的Web信息提取[J].计算机学报,2002(5):526-533.
[2]宋中山,曾广平.基于XML的Web数据挖掘技术[J].中南民族大学学报,2005(1):64-67.
[3]Meng XF,Zhou LX,Wang S.State of the art and trends in database research．Journal ofSoftware,2004,15(12):1822-1836.
[4]Jiawei Han,Mieheline Camber,范明,孟小峰译.数据挖掘概念与技术[M].北京:机械工业出版社,2001.