论文部分内容阅读
背景
科学文献质量评价是一个复杂的问题,它考虑到各种因素,如重要性、原创性、严谨性、优雅和科学影响等。由于没有数学公式可以量化一篇论文的“质量”,文献计量学使用了基于引文的一系列指标来评价论文影响力。目前应用最普遍、最具代表性的两种评价方法是引文分析和同行评议。F1000的出现为量化同行评议奠定了基础,使引证指标和同行评议指标的对比研究变得可行。
目的
探讨文献计量学评价和同行评议之间的关系,对不同属性学科文献计量学评价和同行评议的统一性和差异程度进行研究。
方法
文献计量学评价指标包括WoS数据库的论文被引频次和JCR数据库的期刊评价指标,如总被引频次、影响因子、5年影响因子、即年指标、特征因子和论文影响分值。同行评议指标来源于Facultyof1000Prime(F1000Prime)数据库的论文推荐次数、论文推荐分数。选取四个有代表性的学科,有针对性地涵盖理论性学科和应用性学科,并在选取时考虑引用半衰期不同的学科,最终选定的学科为偏应用性的InfectiousDiseases和Oncology与偏理论性的Biochemistry和StructuralBiology。通过数据清洗最终得到有效数据:F1000Medicine下的InfectiousDisease1096条,Oncology1073条,F1000Biology下的Biochemistry1227条,StructuralBiology1008条。而在期刊分析层面上共涵盖了716种学术期刊,其中Biochemistry 涵盖239种学术期刊,StructuralBiology涵盖了198种学术期刊,Oncology涵盖了368种学术期刊,InfectiousDiseases涵盖了331种学术期刊。分别在论文层面和期刊层面对引证指标和同行评议指标进行关联性分析。
结果
在本研究的4个学科中,不同学科的F1000Prime推荐文章的同行评议与引用情况不同。且不同学科的同行评议与引用情况排序不同,推荐次数与推荐分数排序为StructuralBiology=Biochemistry>InfectiousDiseases=Oncology,而WoS数据库合计被引次数排序为Oncology>InfectiousDiseases>StructuralBiology=Biochemistry。在期刊层面,期刊F1000因子(包括期刊F1000推荐论文总数JFF1、期刊F1000论文被推荐总次数JFF2和期刊F1000推荐总分JFF3)都与总被引频次和特征因子有显著相关关系。与其他JCR数据库的文献计量学指标相比,特征因子与JFF1、JFF2、JFF3的相关系数都较大。在3种基于F1000论文同行评议结果量化的期刊评价指标中,JFF3与JCR数据库的文献计量学指标均有显著正相关关系,而JFF1与JCR数据库的文献计量学指标有较少的相关关系。不同Tag分类的推荐次数、推荐分数和被引频次的差异,标有NewFinding、TechnicalAdvance、GoodforTeaching、NovelDrugTarget的论文比其他论文有较多的推荐次数,较高的推荐分数以及较多的被引频次。
结论
不同学科同行专家评分差异明显;同行评议指标与文献计量学指标呈弱相关关系;不同学科同行评议指标与文献计量学指标相关程度不同。无论是同行评议指标还是文献计量学评价,不同学科之间都存在较大差异。因此,任何学术评价都要将二者相结合,不能相互替代。
科学文献质量评价是一个复杂的问题,它考虑到各种因素,如重要性、原创性、严谨性、优雅和科学影响等。由于没有数学公式可以量化一篇论文的“质量”,文献计量学使用了基于引文的一系列指标来评价论文影响力。目前应用最普遍、最具代表性的两种评价方法是引文分析和同行评议。F1000的出现为量化同行评议奠定了基础,使引证指标和同行评议指标的对比研究变得可行。
目的
探讨文献计量学评价和同行评议之间的关系,对不同属性学科文献计量学评价和同行评议的统一性和差异程度进行研究。
方法
文献计量学评价指标包括WoS数据库的论文被引频次和JCR数据库的期刊评价指标,如总被引频次、影响因子、5年影响因子、即年指标、特征因子和论文影响分值。同行评议指标来源于Facultyof1000Prime(F1000Prime)数据库的论文推荐次数、论文推荐分数。选取四个有代表性的学科,有针对性地涵盖理论性学科和应用性学科,并在选取时考虑引用半衰期不同的学科,最终选定的学科为偏应用性的InfectiousDiseases和Oncology与偏理论性的Biochemistry和StructuralBiology。通过数据清洗最终得到有效数据:F1000Medicine下的InfectiousDisease1096条,Oncology1073条,F1000Biology下的Biochemistry1227条,StructuralBiology1008条。而在期刊分析层面上共涵盖了716种学术期刊,其中Biochemistry 涵盖239种学术期刊,StructuralBiology涵盖了198种学术期刊,Oncology涵盖了368种学术期刊,InfectiousDiseases涵盖了331种学术期刊。分别在论文层面和期刊层面对引证指标和同行评议指标进行关联性分析。
结果
在本研究的4个学科中,不同学科的F1000Prime推荐文章的同行评议与引用情况不同。且不同学科的同行评议与引用情况排序不同,推荐次数与推荐分数排序为StructuralBiology=Biochemistry>InfectiousDiseases=Oncology,而WoS数据库合计被引次数排序为Oncology>InfectiousDiseases>StructuralBiology=Biochemistry。在期刊层面,期刊F1000因子(包括期刊F1000推荐论文总数JFF1、期刊F1000论文被推荐总次数JFF2和期刊F1000推荐总分JFF3)都与总被引频次和特征因子有显著相关关系。与其他JCR数据库的文献计量学指标相比,特征因子与JFF1、JFF2、JFF3的相关系数都较大。在3种基于F1000论文同行评议结果量化的期刊评价指标中,JFF3与JCR数据库的文献计量学指标均有显著正相关关系,而JFF1与JCR数据库的文献计量学指标有较少的相关关系。不同Tag分类的推荐次数、推荐分数和被引频次的差异,标有NewFinding、TechnicalAdvance、GoodforTeaching、NovelDrugTarget的论文比其他论文有较多的推荐次数,较高的推荐分数以及较多的被引频次。
结论
不同学科同行专家评分差异明显;同行评议指标与文献计量学指标呈弱相关关系;不同学科同行评议指标与文献计量学指标相关程度不同。无论是同行评议指标还是文献计量学评价,不同学科之间都存在较大差异。因此,任何学术评价都要将二者相结合,不能相互替代。