目的：构建一个从学术水平层面上综合评价医学期刊的综合评价指标体系，试图为中国的广大科技工作者、期刊编辑部和科研管理部门有关决策提供科学依据。方法：以中国科学技术信息研究所编写，由科学技术文献出版社出版的《2004年版中国科技期刊引证报告》为综合评价数据信息来源，从当年入围的476种医学期刊中采用分层随机抽样法，随机抽选10种医学期刊作为评价对象；评价指标遴选及其权重的确定采用德尔菲法和Saaty氏权重估计法；使用层次分析法、加权秩和比法和加权Topsis法对10种医学期刊的学术水平进行综合评价。结果：在专家评分的基础上，结合专业知识，初步构建了对医学期刊学术水平进行综合评价的指标体系。该指标体系共分为2层，第1层包括期刊引用指标、来源指标和其他相关指标3个部分。第2层将第1层的3个指标进一步细分为总被引频次、影响因子、他引总引比、被引半衰期、来源文献量、参考文献量、基金论文比及被国内检索系统收录数等8个评价指标。通过专家进一步咨询，建立了子目标判断矩阵，用Saaty氏法计算出各层权重，经过一致性检验显示，各层子目标权重符合逻辑，一致性较好。3种综合评价方法得出的医学期刊学术水平的评价结果，经Spearman秩相关检验证实具有良好的一致性。结论：初步构建了一个分为2层由8个评价指标组成的，对医学期刊学术水平进行综合评价的指标体系。应用层次分析法、加权秩和比法及加权Topsis法对该指标体系进行了实证研究，证明该指标体系各层符合逻辑，且具有较好的一致性，说明依据该指标体系对医学期刊学术水平进行综合评价有利于减少以往方法中因重引文轻载文而可能产生的偏差。