论文部分内容阅读
信息化的飞速发展使各种信息呈现爆炸式增长,这给人们的工作、学习和生活提供了极大便利,但淹没于大量无用、重复信息之中的有用信息很难通过人工的方法被全面准确地提取出来,人们陷于信息提取的泥潭中,快速有效的信息检索技术成为了唯一的解决方案。信息检索主要包含两个部分:按照科学的体系结构对信息进行归类和获取用户真实意图,反馈给用户所需的信息。前者是提高效率的关键,本文的研究则集中于信息归类,围绕中文文本分词、特征选择和分类方法以及图像检索中的模糊图像恢复等关键技术展开探索。研究过程使用了理论分析和计算机实验验证两种主要方法。以理论分析确定实验目的,指导实验方法;以实验数据支持理论分析,推动更深入的理论分析。 本文首先介绍了信息检索的发展现状,结合本论文的主要研究内容论述了信息检索中的关键技术,对本论文的内容安排和主要创新作了说明。而后,从总体上介绍了自动文本分类系统的组成结构和功能,为后面的研究打下了基础。本论文所作的创新主要包括以下几个部分: 现有机械分词方法准确率偏低,对后续特征选择和分类造成了破坏,影响了文本分类精度;非机械分词法虽然有较好的分词精度,但是时间和/或空间复杂度较高,不易实现。针对上述问题,本文提出了一种对最大匹配法进行改进得到的预测最大匹配分词方法。预测最大匹配法通过对长词出现可能性和起始位置进行预测,使分词过程更符合长词优先准则。通过对新方法分词性能和时间复杂度的分析,证明了该方法以较小的复杂度增加为代价明显提高了分词准确性,接近全局最大匹配的性能。 以词为特征表示中文文本时特征维数较高,需要剔除对分类贡献小的特征。现有特征选择方法基于词与词之间相互独立的假设,属于标量特征选择。实际上词与词之间存在很强的的相关性,本文提出了基于期望交叉熵的向量特征选择方法,兼顾了词与类别及词与词之间的相关性。本文还研究了使用K-L变换和奇异值分解特征生成的方法。实验证明在