大学排名是利用一定方法对高等教育专业、活动、院校乃至整个高等教育系统的量化评估,也称为大学排行榜、学术排名、机构排名等。随着高等教育迈向国际化,不断出现的新的大学排名系统、越来越多的与大学排名相关的研讨会和会议、大学排名机构网站的高流量等种种迹象都表明大学排名在过去十几年里所取得的巨大成功,在国家、区域和世界范围内的综合、学科、网络等各种不同类型、不同层次的大学排名系统出现在公众视野之中。尽管存在一定的局限性,但是大学排名系统在全世界范围内得到了广泛应用,帮助不同的高等教育利益相关群体解决他们各自的问题并实现其目标。大学排名系统之间的差异性驱使我们来比较和分析这些大学排名系统。一些研究工作对不同大学排名系统进行了定性和定量的比较分析,但是这些工作往往都局限于选定的大学排名系统本身,包括定性比较大学排名系统的方法、利用不同的度量指标来考察大学排名系统之间或同一大学排名系统不同年份之间的相似性和相关性、利用高校在所有选定大学排名系统中的极差来探究其稳定性等。这也就导致在考察相似性和相关性时所采用的度量指标并不科学合理,缺少相应的预处理过程;其次,在考察高校稳定性时,以前的工作比较粗糙,并没有考虑统计信息,这也就导致相应的结果不能客观准确地反映真实情况,受个别大学排名系统的影响非常大。为解决上述问题,特别是针对高校的稳定性分析,本文基于排名聚合方法来比较和分析大学排名系统,旨在提供一个更综合全面的大学排名比较研究框架。在该框架下,通过更合理的测量指标以及适当的数据预处理过程来考察不同大学排名系统之间以及同一大学排名系统不同年份之间的相似性和相关性;通过排名聚合方法和常规统计方法来考察不同大学排名系统之间的差异性以及高校的稳定性。此外,为了得到最适合的排名聚合方法,本文还针对排名聚合方法做了一个全面的比较研究分析,提出了一套排序数据生成机制以生成统计特性可控的数据,并利用更合理的指标——有偏等级重叠(RBO)来评估9种排名聚合方法的表现。本文选用的数据是2017年14个大学排名系统的综合排名列表结果。研究发现:(1)基于两两大学排名系统之间重叠高校的相似性结果普遍偏高,而同时考虑那些仅出现在其中一个大学排名系统中的高校时,在不同的预处理过程下得到的相似性结果普遍会更小。因为RBO满足相似性指标的所有条件,而τ_g不满足,所以通过τ_g指标计算得出的等级相似性结果普遍高于通过RBO计算出来的结果,这是因为τ_g等级相关系数仅使用对数来对两个列表之间的不一致情况加以惩罚,而没有考虑这些不一致之处出现的相对位置,即不能对位置进行加权,不能满足排名数据前重后轻的基本性质。此外,在固定高校类预处理过程产生的数据集中,国内4个中国大学排名系统(WSL、CUAA、RCCSE和BCUR)之间的RBO值高于其与世界大学排名系统的RBO值,这说明国家内部发布的大学排名系统更相似,相互联系更紧密。尽管各大学排名系统采用的排名方法存在差异,但是大学排名系统之间普遍具有中等偏上的相似性。(2)在固定长度类预处理过程下,当使用τ_g指标和M指标时,高校重叠数和等级相似性均呈现出增长趋势,这与之前的研究保持一致。而使用RBO测量大学排名系统之间的相似性时,我们发现等级相似性并未出现增长趋势,反而开始下降,即大学排名系统之间的相似性随着长度增加而减少,这也从侧面说明相似性指标的选用对结果的影响很大。(3)在固定长度类预处理过程下,极差稳定性呈较分散的非单调分布(以相应的UAR为准),但回落部分并未掉入“稳定型”或“相对稳定型”区域。基于排名聚合的高校总体稳定性,在一些数据集中存在轻微的回落,但是总体上呈线性递增趋势。在固定高校类预处理过程下,极差稳定性也呈较分散的非单调分布。因为尾部高校的相对滑动过程,基于排名聚合的高校稳定性也呈与极差稳定性类似的非单调分布,但是更为集中。比较和分析这些大学排名系统具有非常重要的意义。一方面,就大学排名自身而言,比较分析这些大学排名系统有益于改进和完善大学排名方法,使之更趋于科学合理,从而促进大学排名健康可持续发展。长期来看,这有利于保障和提高高等教育的质量,因为大学排名本就是高等教育质量保障和提升的有效工具之一;另一方面,通过对不同大学排名系统进行比较分析,有利于高等教育利益相关群体更加辩证理性地使用大学排名,让大学排名更好地为大众服务。