论文部分内容阅读
摘要:该文通过建立搜索引擎综合评价体系,提出了将集对分析理论运用到搜索引擎质量评定的综合评价方法。通过此方法可以定量的评价搜索引擎的综合性能。
关键词:搜索引擎;质量评价;集对分析;评价指标
中图分类号:TP393文献标识码:A文章编号:1009-3044(2009)36-10599-03
Quality Evaluation of Search Engine Based on SPA
HE Xiao-yan, ZHU Jun-dong
(Information Center of North China Coal Medical University, Tangshan 063000, China)
Abstract: This article is to establish the general assessment system for search engine and to provide methods for quality evaluation of the general assessment system by using the theory of set pair analysis and to evaluate the integrated functions of search engine quantitatively.
Key words: search engine; quality evaluation; SPA analysis; evaluating indicator
搜索引擎是为满足人们对网络信息的搜索需求而新兴的一种网络工具,搜索引擎的质量直接影响着检索效果,通过对搜索引擎性能的评价,一方面能更好地了解搜索引擎的优劣,为用户选择合适的搜索引擎提供依据,决定着引擎用户从网上获取信息的成功与否;另一方面可以促进网络搜索引擎的提供者改进完善搜索引擎工具和检索技术,以提高网络信息检索质量。因此有必要对它们进行系统详细的分析对比和评价,以达到帮助用户方便使用的目的,并为今后搜索引擎的进一步发展提供借鉴。
1 集对分析
1.1 集对
所谓集对[1],是指具有一定联系的两个集合所组成的对子。它把确定性与不确定性看作是一个确定-不确定系统,在这个系统中,确定性与不确定性是互相制约的,不可截然分割,因此,对于不确定性的描述要从确定和不确定两个方面来进行,并用联系度表达式μ=a+bi+cj来系统地描述不确定性,其中a称为集对同一度;b称为集对差异度;c称为集对的对立度。
1.2 集对分析的基本思路
在一定的问题(W)背景下,将集合A、集合B组成集对H,然后展开分析,共得N个特性,表示所论值域内的统一性个数,对立性个数和差异性个数之和,把具有相同的特性记为同联系(设有S个),而把具有相反的特性记为反联系(设有P个),其余的特性既不同一,又不对立,称为差异联系(共有F=N-S-P个)。从而得到两个集合在指定问题背景下的联系度表达式[2]:
1.3 联系度μ
联系度是集对分析中的一个重要概念,用μ表示。在μ中,称S/N,F/N,P/N分别为所论两个集合在指定问题背景下的同一度、差异度和对立度。令S/N=a,F/N=b,P/N=c。由此联系度μ可记为μ=a+bi+cj,其中a+b+c=1(1)
其中i为差异标记符号或相应系数,取值为[-1,1];j为对立标记符号或相应系数,规定取值为-1。
1.4 集对势
在(1)式中,若c≠0时,称同一度a与对立度c的比值为所论集对在指定问题背景下的集对势,用“shi”表示:
shi=a/c (2)
当a/c>1,a/c=1和a/c<1时分别称为集对同势、集对均势和集对反势。集对势说明了集对的两个集合联系的趋势。shi的大小代表评价主体对评价客体的评价等级,shi的值越大一般可认为评价主体对评价客体的评价越优;shi的值越小一般可认为评价主体对评价客体的评价越差。
2 构建基于集对分析的搜索引擎评价模型
2.1 确定评价指标体系
根据评价原则,可以确定搜索引擎质量评价指标体系(见式1)。评价指标体系主要由索引构成、检索功能、检索效果、结果显示和用户交互五个基本维度组成,每一个一级指标都有隶属的二级指标。
2.2 利用AHP计算各指标权重系数
层次分析法(Analytic Hierarchy Process,AHP)的基本思想是先按问题要求建立一个描述系统功能或特征的内部独立的递阶层次结构,在每一层的同类因素中,通过比较两两元素的相对重要性,给出相应的比例标度,构造上层某要素对下层相关元素的判断矩阵,以给出相关元素对上层某要素的相对重要性序列[3]。求得一致性比率(CR)当CR≤0.1时,认为判断矩阵满足一致性要求。
w=(w1,w2,…,wl),且满足w1+w2+…+wl=1 (3)
2.3 确定联系度μ
1) 确定同一度a、差异度b和对立度c
根据评价指标体系,针对各二级指标进行问卷调查。每个二级指标的评语集有三个选项:优、一般和差,让评判者进行选择。对于每个指标,假设有N个人进行评价,若其中有x个打“优”,y个人打“一般”,z个人打“差”,则可得同一度a=x/N、差异度b=y/N以及对立度c=z/N。
2)确定差异度系数
当i在[-1,1]区间取值时,鉴于不同的情况有不同的确定方法:极值法、中值法、概率取值法和函数模拟法等等。本文采用中值法确定i值[4],取i=0.5。
3)确定联系度、计算集对势
当i=0.5,i恒取-1时,根据上述得到的a,b,c值可计算各联系度的值:
μ=a+bi+cj=a+b/2-c (4)
在确定完a,b,c后就可以根据(2)式计算各指标的集对势。
4)计算属性矩阵Q和评价结果R
对于指标体系U的5个二级指标的属性矩阵Q(i)可以表示为:
(5)
其中i=1,...,5;m为二级指标体系Ui对应的二级指标个数。
由(3)、(5)式可得一级评价指标体系的属性矩阵:
(6)
根据(3)、(6)式可得最后评价结果R:
(7)
根据均分原则给出R等级对照表(见表1),由表1即可得到 最终的综合评价等级。
3 实验及结果分析
下面运用集对分析对某一搜索引擎进行综合评价。
把评价指标制成调查问卷(见附表1)发给一些搜索引擎的使用者100名。调查问卷中每个评价指标都有三个评价等级“优”、“一般”、“差”。请他们在每个指标对应的评价等级下面打“√” 。在评分过程中,为了避免人为因素的影响,请他们按评价等级对每项指标独立的作出判断。根据收回的调查表统计平均,得到各指标的最终结果。得到的调查结果见表2。其中x列为打“优”的总人数,y列为打“一般”的总人数,z列为打“差”的总人数。
3.1 确定指标权重系数
运用层次分析法确定一级评价指标体系 的权重向量w=(0.21,0.22,0.38,0.07,0.12),四个二级评价指标体系的权重向量分别为:wU1=(0.30,0.63,0.07),wU2=(0.75,0.25),wU3=(0.35,0.35,0.05,0.10,0.15),wU4=(0.24,0.70,0.06),wU5=(0.69,0.23,0.08)。
3.2确定联系度、计算集对势
3.2.1 确定联系度、集对势
按照下面的公式计算每项结果填入表2中。
a=x/N,b=y/N,c=z/N,μ=a+b/2-c,shi=a/c,其中N=100。
3.2.2 集对势分析
根据表2中集对势大小可以得到指标评价的优劣次序。其中最好的是“帮助信息”指标,最差的是“感知的全面性”指标。
对于集对势比较靠前的指标,说明用户对其比较满意,今后需要保持下去;对于排序靠中的指标,说明还有提高的空间,今后需要加强一些;对于排序靠后的指标,说明用户的满意程度较低,这些指标需要特别注意加强。
3.3 计算属性矩阵和评价结果
由式(5)可得一级指标的属性矩阵:
根据式(6)可以计算一级指标的各联系度:
同理μ2=0.6525,μ3=0.386,μ4=0.6405,μ5=0.54765。
可得网络搜索引擎质量评价体系的属性矩阵Q:
由式(7)得评价结果:
根据表1可得这个网络搜索引擎的评价结果为“优秀”。
4 结束语
该文在集对分析理论的基础上,提出了基于联系数学的搜索引擎性能综合评价模型,为定量的评价搜索引擎提供了一种途径。实例表明, 该模型客观、合理、实用。而且通过查看搜索引擎在某指标上的联系数的有机构成, 还可获知该搜索引擎应在哪些方面改进性能。
参考文献:
[1] 赵克勤.集对分析及初步应用[M].杭州:浙江科学技术出版社,2000:10-18.
[2] 任艳玲,朱明放.基于集对分析的综合评价方法及其应用[J].微计算机信息,2007,23,12(3):220-222.
[3] Saaty T L.The Analytic Hierarchy Process[M].New York:Megraw-Hill,1980.
[4] 赵克勤,曹鸿兴.集对分析与界壳论[M].北京:气象出版社,2002.
[5] 郑鹏,张弼云.基于集对分析的图书馆服务质量综合评价[J].情报杂志,2008(1):145-148.
关键词:搜索引擎;质量评价;集对分析;评价指标
中图分类号:TP393文献标识码:A文章编号:1009-3044(2009)36-10599-03
Quality Evaluation of Search Engine Based on SPA
HE Xiao-yan, ZHU Jun-dong
(Information Center of North China Coal Medical University, Tangshan 063000, China)
Abstract: This article is to establish the general assessment system for search engine and to provide methods for quality evaluation of the general assessment system by using the theory of set pair analysis and to evaluate the integrated functions of search engine quantitatively.
Key words: search engine; quality evaluation; SPA analysis; evaluating indicator
搜索引擎是为满足人们对网络信息的搜索需求而新兴的一种网络工具,搜索引擎的质量直接影响着检索效果,通过对搜索引擎性能的评价,一方面能更好地了解搜索引擎的优劣,为用户选择合适的搜索引擎提供依据,决定着引擎用户从网上获取信息的成功与否;另一方面可以促进网络搜索引擎的提供者改进完善搜索引擎工具和检索技术,以提高网络信息检索质量。因此有必要对它们进行系统详细的分析对比和评价,以达到帮助用户方便使用的目的,并为今后搜索引擎的进一步发展提供借鉴。
1 集对分析
1.1 集对
所谓集对[1],是指具有一定联系的两个集合所组成的对子。它把确定性与不确定性看作是一个确定-不确定系统,在这个系统中,确定性与不确定性是互相制约的,不可截然分割,因此,对于不确定性的描述要从确定和不确定两个方面来进行,并用联系度表达式μ=a+bi+cj来系统地描述不确定性,其中a称为集对同一度;b称为集对差异度;c称为集对的对立度。
1.2 集对分析的基本思路
在一定的问题(W)背景下,将集合A、集合B组成集对H,然后展开分析,共得N个特性,表示所论值域内的统一性个数,对立性个数和差异性个数之和,把具有相同的特性记为同联系(设有S个),而把具有相反的特性记为反联系(设有P个),其余的特性既不同一,又不对立,称为差异联系(共有F=N-S-P个)。从而得到两个集合在指定问题背景下的联系度表达式[2]:
1.3 联系度μ
联系度是集对分析中的一个重要概念,用μ表示。在μ中,称S/N,F/N,P/N分别为所论两个集合在指定问题背景下的同一度、差异度和对立度。令S/N=a,F/N=b,P/N=c。由此联系度μ可记为μ=a+bi+cj,其中a+b+c=1(1)
其中i为差异标记符号或相应系数,取值为[-1,1];j为对立标记符号或相应系数,规定取值为-1。
1.4 集对势
在(1)式中,若c≠0时,称同一度a与对立度c的比值为所论集对在指定问题背景下的集对势,用“shi”表示:
shi=a/c (2)
当a/c>1,a/c=1和a/c<1时分别称为集对同势、集对均势和集对反势。集对势说明了集对的两个集合联系的趋势。shi的大小代表评价主体对评价客体的评价等级,shi的值越大一般可认为评价主体对评价客体的评价越优;shi的值越小一般可认为评价主体对评价客体的评价越差。
2 构建基于集对分析的搜索引擎评价模型
2.1 确定评价指标体系
根据评价原则,可以确定搜索引擎质量评价指标体系(见式1)。评价指标体系主要由索引构成、检索功能、检索效果、结果显示和用户交互五个基本维度组成,每一个一级指标都有隶属的二级指标。
2.2 利用AHP计算各指标权重系数
层次分析法(Analytic Hierarchy Process,AHP)的基本思想是先按问题要求建立一个描述系统功能或特征的内部独立的递阶层次结构,在每一层的同类因素中,通过比较两两元素的相对重要性,给出相应的比例标度,构造上层某要素对下层相关元素的判断矩阵,以给出相关元素对上层某要素的相对重要性序列[3]。求得一致性比率(CR)当CR≤0.1时,认为判断矩阵满足一致性要求。
w=(w1,w2,…,wl),且满足w1+w2+…+wl=1 (3)
2.3 确定联系度μ
1) 确定同一度a、差异度b和对立度c
根据评价指标体系,针对各二级指标进行问卷调查。每个二级指标的评语集有三个选项:优、一般和差,让评判者进行选择。对于每个指标,假设有N个人进行评价,若其中有x个打“优”,y个人打“一般”,z个人打“差”,则可得同一度a=x/N、差异度b=y/N以及对立度c=z/N。
2)确定差异度系数
当i在[-1,1]区间取值时,鉴于不同的情况有不同的确定方法:极值法、中值法、概率取值法和函数模拟法等等。本文采用中值法确定i值[4],取i=0.5。
3)确定联系度、计算集对势
当i=0.5,i恒取-1时,根据上述得到的a,b,c值可计算各联系度的值:
μ=a+bi+cj=a+b/2-c (4)
在确定完a,b,c后就可以根据(2)式计算各指标的集对势。
4)计算属性矩阵Q和评价结果R
对于指标体系U的5个二级指标的属性矩阵Q(i)可以表示为:
(5)
其中i=1,...,5;m为二级指标体系Ui对应的二级指标个数。
由(3)、(5)式可得一级评价指标体系的属性矩阵:
(6)
根据(3)、(6)式可得最后评价结果R:
(7)
根据均分原则给出R等级对照表(见表1),由表1即可得到 最终的综合评价等级。
3 实验及结果分析
下面运用集对分析对某一搜索引擎进行综合评价。
把评价指标制成调查问卷(见附表1)发给一些搜索引擎的使用者100名。调查问卷中每个评价指标都有三个评价等级“优”、“一般”、“差”。请他们在每个指标对应的评价等级下面打“√” 。在评分过程中,为了避免人为因素的影响,请他们按评价等级对每项指标独立的作出判断。根据收回的调查表统计平均,得到各指标的最终结果。得到的调查结果见表2。其中x列为打“优”的总人数,y列为打“一般”的总人数,z列为打“差”的总人数。
3.1 确定指标权重系数
运用层次分析法确定一级评价指标体系 的权重向量w=(0.21,0.22,0.38,0.07,0.12),四个二级评价指标体系的权重向量分别为:wU1=(0.30,0.63,0.07),wU2=(0.75,0.25),wU3=(0.35,0.35,0.05,0.10,0.15),wU4=(0.24,0.70,0.06),wU5=(0.69,0.23,0.08)。
3.2确定联系度、计算集对势
3.2.1 确定联系度、集对势
按照下面的公式计算每项结果填入表2中。
a=x/N,b=y/N,c=z/N,μ=a+b/2-c,shi=a/c,其中N=100。
3.2.2 集对势分析
根据表2中集对势大小可以得到指标评价的优劣次序。其中最好的是“帮助信息”指标,最差的是“感知的全面性”指标。
对于集对势比较靠前的指标,说明用户对其比较满意,今后需要保持下去;对于排序靠中的指标,说明还有提高的空间,今后需要加强一些;对于排序靠后的指标,说明用户的满意程度较低,这些指标需要特别注意加强。
3.3 计算属性矩阵和评价结果
由式(5)可得一级指标的属性矩阵:
根据式(6)可以计算一级指标的各联系度:
同理μ2=0.6525,μ3=0.386,μ4=0.6405,μ5=0.54765。
可得网络搜索引擎质量评价体系的属性矩阵Q:
由式(7)得评价结果:
根据表1可得这个网络搜索引擎的评价结果为“优秀”。
4 结束语
该文在集对分析理论的基础上,提出了基于联系数学的搜索引擎性能综合评价模型,为定量的评价搜索引擎提供了一种途径。实例表明, 该模型客观、合理、实用。而且通过查看搜索引擎在某指标上的联系数的有机构成, 还可获知该搜索引擎应在哪些方面改进性能。
参考文献:
[1] 赵克勤.集对分析及初步应用[M].杭州:浙江科学技术出版社,2000:10-18.
[2] 任艳玲,朱明放.基于集对分析的综合评价方法及其应用[J].微计算机信息,2007,23,12(3):220-222.
[3] Saaty T L.The Analytic Hierarchy Process[M].New York:Megraw-Hill,1980.
[4] 赵克勤,曹鸿兴.集对分析与界壳论[M].北京:气象出版社,2002.
[5] 郑鹏,张弼云.基于集对分析的图书馆服务质量综合评价[J].情报杂志,2008(1):145-148.