论文部分内容阅读
摘要采用基于权重Kappa统计值的方法，在剔除了由于偶然性和随机性造成的一致性的基础上，对3种常用暴雨预报方法的预报结果的一致性进行了衡量。结果表明，数值模式预报与综合经验预报的预报结果为“本质的一致性”，说明其预报结果的一致性并不是由于偶然性造成的；衡量结果是清晰的，内部一致性的信度评价是可靠的，避免了来自主观评价的差异，从而有利于提高对不同预报方法预报结果的差异性的认识，对进一步提高暴雨预报的准确度有重要意义。
關键词 暴雨预报；权重Kappa统计值；一致性；信度评价
中图分类号S165文献标识码A文章编号0517-6611（2015）16-216-03
Reliability Evaluation of the Internal Consistency about Heavy Rain Forecast Methods
HOU Yiguang1， ZHAO Jin1， WU Weiwei2 et al
（1. Xuzhou Meteorological Bureau， Xuzhou， Jiangsu 221002； 2. College of Civil Engineering， Southeast University， Nanjing， Jiangsu 210096）
AbstractOn the basis of eliminating the consistency by contingency and randomness， the consistency of forecast results for three kinds of commonly used method about heavy rain forecast was measured based on weighted Kappa statistics method. The results showed that the essence of forecast results for numerical model forecast and comprehensive experience forecast are consistency. In other words， the consistency of forecast results is not effected by contingency. To avoid the differences from subjective assessment by clear outcome evaluation and dependable reliability evaluation for internal consistency. Thus， we can improve the understanding about the differences of the forecast results which based on different forecasting methods， and that has important significance to improve the accuracy of heavy rain forecasting.
Key words Heavy rain forecast； Weighted Kappa statistics value； Consistency； Reliability evaluation
我国是世界上多暴雨的国家之一，暴雨对我国经济社会发展和人民生命财产构成了严重危害，民政部数据显示，仅2010年上半年我国就因暴雨导致直接经济损失高达2 100多亿元[1]。对于黄淮流域来说，初夏是暴雨多发期，期间暴雨平均发生次数约占全年近62%。准确的暴雨预报对工农业生产、社会生活具有非常重要意义。暴雨预报在汛期天气预报和决策气象服务中也越来越显示出它的重要作用。暴雨预报是一个复杂的系统工程，也是气象工作者一个长期探索的科学难题，很多气象工作者对它的发生发展机理、数值模拟等进行了研究[1]。近几十年来，通过试验工作和理论探索，无论是在分析预测还是在基础理论研究方面均取得了重大进展[2-4]，如郭裕福等研究得出长江流域洪水和印度洋海温异常有紧密关系[5]；周广强等通过分析长江暴雨过程中的云滴谱和地面降水的关系，得出云滴谱的不确定性对长江流域暴雨有重要影响[6]；李跃清研究认为青藏高原东侧边界层风场和长江暴雨有紧密关系[7]。但暴雨过程本身是一个十分复杂的过程，目前仍有很多未解决的问题。因此，准确及时的暴雨量级预报是非常困难的。
当前对暴雨预报主要采用数值预报的输出产品，但由于暴雨的发生发展机理还有很多未解决的问题，数值预报中的物理参数化方案只是暴雨发生发展各物理过程的一种近似，在实际天气预报中会发现采用不同的参数化方案对暴雨的预报会出现较大差异[1]。数值预报系统虽能提供可信度较高的中期时效（一周或更长）的天气形势预报、大尺度天气过程预报和短期定点气象要素值预报，但数值预报毕竟不能替代预报员的综合预报[8]。从预报业务应用上认识数值预报产品性能和误差，对数值产品进行主观分析、判断和误差订正，寻求客观预报与主观预报的最佳结合点，是提高预报水平的有效途径[9]。然而，在不同预报方法下的预报结果所达成的一致性（即预报结果相同），也有可能是由于偶然性和随机性所造成的，现有的文献中缺乏针对解决此类问题的相关研究。也就是说，如何在比较不同预报方法的预报结果时剔除偶然性和随机性的影响，在暴雨预报领域仍然是个空白。笔者基于Kappa统计值的方法，在剔除由于偶然性和随机性造成的一致性的基础上，对数值模式预报、统计预报和综合经验预报3种常用暴雨预报方法的预报结果的一致性进行衡量，从而提高对不同方法预报结果的差异性的认识，该研究对于更加深刻地认识各种预报方法及其预报结果、对进一步提高暴雨预报的准确度有重要意义。 1资料与方法
1.1Kappa统计值概述
Kappa统计值是内部一致性信度评价的重要指标。信度是衡量预测结果内部一致性的程度，也是对预测结果一致性和稳定性的评价标准。Kappa统计值是被广泛采用的、用来衡量去除偶然性以后的内部一致性的统计量[10-13]，在临床诊断、分类等领域也得到了非常广泛的应用[12，14]。这种方法考虑了由于偶然性达成一致的可能性，通过首先从表面一致性里面减去由于偶然性導致一致性的可能性，然后再除以非偶然性导致的一致性，从而计算出相应的Kappa统计值[15-16]。采用的预报结果（筛选出24 h预报雨量为大雨以上的作为研究个例）分为大雨（24 h雨量在25.0～49.9 mm）、暴雨（24 h雨量在50.0～99.9 mm）、大暴雨（24 h雨量在100.0～199.9 mm）和特大暴雨（24 h雨量≥200.0 mm）4个级别，则每种预报方法的结果均有这4种可能。显然，距离远的2个选项的差异性比距离近的2个选项的差异性大，为了反映这种差异性，就要给每一个情况赋以不同的权重，权重Kappa统计值就可以解决这种情况。样本数可根据Kappa精度要求来确定，通常需要20～30个样本量[17]。样本量不需要太大，当样本量很大，且一致性较高时，即使计算结果有统计学意义，其实际意义也不大。
1.2权重Kappa统计值
1.2.1
衡量2种预报方法的一致性。由于理论上的一些原因，Fleiss建议为每对比较选项按照以下的公式赋以权重[15]：
wij=1-（i-j）2（k-1）2
（1）
这也是被广泛采用的赋权重方法之一，式中，i表示行数，j表示列数，k表示选项个数。表面一致性通过以下公式计算：
po（w）=1N∑ki=1 ∑kj=1wijSij
（2）
式中，N表示样本总数，wij表示所赋权重值，Sij表示预报结果分组汇总的二维分布。 由偶然性导致的一致性计算公式如下：
pe（w）=1N2∑ki=1 ∑kj=1wijSiSj
（3）
式中，N表示样本总数，wij表示所赋权重值，Si表示分组中一种预报方法的i分类之和，Sj表示分组中另一预报方法的j分类之和。 则权重Kappa值为：
k（w）=po（w）-pe（w）1-pe（w）
（4）
对Kappa统计值的解释一直是研究人员关心的热点问题。就Kappa值的意义而言，它的变化范围是-1～1。在小于0的情况下，表明结果是由于偶然性造成的，等于1则表示“完美的一致性”。对Kappa统计值进行解释的常用指导性标准如表1所示[11-12]。
表1对Kappa统计值进行解释的指导性标准
Kappa统计值并不是由于偶然性造成的一致性的支持强度
<0很差
0～0.20微弱的
0.21～0.40清楚的
0.41～0.60中等的
0.61～0.80本质的
0.81～1.00几乎完美的
1.2.2
衡量多种预报方法的一致性。当涉及到多个预报方法、多个预报结果时，最常见的做法是分别求取所有两两不同预报方法组合的Kappa统计值，然后取所有Kappa统计值的平均值。用公式表示则是：
kave（w）=1Q∑Qq=1kq（w）
（5）
Fleiss建立了另外一种一次性计算该种情况下的Kappa统计值的模型[15]，但并没有得到广泛的应用。其最大的问题在于对结果的解释上，因为不一致性会随着预报等级的增多以及评价样本数的增多而减小，按照这种方法计算出来的Kappa值相对比较小，不太适合去与一般性意义下的Kappa统计值的指导标准（表1）进行比较。这也是前面提到的样本量不要求很大的主要原因。
1.3案例背景
目前应用于我国气象部门天气预报业务的预报方法主要有数值模式预报、统计预报和综合经验预报（天气图分析法）3种。笔者选取了2005年7月8日～2006年7月10日期间由徐州市气象台利用这3种暴雨预报方法制作的暴雨预报结果（表2）。
表23种预报方法的预报结果示例
序号日期数值模式统计预报综合经验序号日期数值模式统计预报综合经验
12005-07-08ⅡⅡⅠ112005-08-29ⅠⅠⅠ
22005-07-10ⅡⅠⅡ122005-09-21ⅠⅡⅠ
32005-07-15ⅠⅡⅠ132005-09-30ⅡⅠⅡ
42005-07-16ⅠⅡⅠ142005-11-05ⅠⅠⅠ
52005-07-17ⅠⅠⅠ152006-05-05ⅠⅠⅡ
62005-07-23ⅡⅡⅡ162006-06-14ⅡⅠⅡ
72005-07-24ⅠⅠⅠ172006-06-22ⅡⅠⅠ
82005-07-31ⅡⅢⅡ182006-06-29ⅡⅠⅡ
92005-08-02ⅠⅠⅠ192006-07-03ⅢⅡⅢ
102005-08-03ⅠⅡⅠ202006-07-10ⅠⅡⅠ
注：Ⅰ为大雨；Ⅱ为暴雨；Ⅲ为大暴雨；Ⅳ为特大暴雨。其中，数值模式是采用美国NCEP本地化制作预报，统计预报是采用回归相关法制作预报，综合经验是利用业务人员长期经验总结作出预报。
2结果与分析
2.1权重的赋值
按照公式（1）对不同对比选项组赋以的权重如表3所示。
表3权重Kappa统计值中赋的权重 量级ⅠⅡⅢⅣ
Ⅰ1.0000.8890.5560
Ⅱ0.8891.0000.8890.556
Ⅲ0.5560.8891.0000.889
Ⅳ00.5560.8891.000
注：Ⅰ为大雨；Ⅱ为暴雨；Ⅲ为大暴雨；Ⅳ为特大暴雨。
2.2权重Kappa统计值的计算
根据表2中3种预报方法的预报结果进行汇总统计（图1）。根据表3中wij的权重值和图1中的Sij、Si、Sj的统计值，按照公式（2）、（3）和（4），3种预报方法之间的表面一致性、由于偶然性造成的一致性、Kappa统计值的计算如表4所示。从表4可以看出，数值模式预报和统计预报的表面一致性高达0.933，而剔除偶然性造成的一致性后，Kappa统计值仅表示“微弱的一致性”。同理，数值模式预报和综合经验预报为“本质的一致性”，说明其预报结果的一致性并不是由于偶然性造成的。统计预报和综合经验预报之间也仅是“微弱的一致性”。
注： Ⅰ为大雨；Ⅱ为暴雨；Ⅲ为大暴雨；Ⅳ为特大暴雨。
图13种预报方法的预报结果汇总
3 结论
针对现有研究的不足，笔者基于权重Kappa统计值的方法，在剔除了由于偶然性和随机性造成的一致性的基础上，对3种常用暴雨预报方法的预报结果的一致性进行了衡量。结果表明，数值模式预报和统计预报的表面一致性高达0.933，而剔除偶然性造成的一致性后，Kappa统计值仅表示“微弱的一致性”；同理，数值模式预报和综合经验预报为“本质的一致性”，说明其预报结果的一致性并不是由于偶然性造成的；统计预报和综合经验预报之间也仅是“微弱的一致性”。可见，这种统计学方法可同时排除偶然一致性和系统
性误差的干扰，比一般的相关系数更好[17]。采用基于权重
表43种预报方法之间的一致性衡量计算结果
统计项数值模式预报和统计预报数值模式预报和综合经验预报统计预报和综合经验预报
表面一致性0.9330.9830.928
偶然一致性0.9220.9220.922
Kappa统计值0.1490.7860.071
（含义）（微弱的一致性）（本质的一致性）（微弱的一致性）
Kappa统计值的方法来衡量这3种预报方法的结果是清晰的，内部一致性的信度评价是可靠的，避免了来自主观评价的差异，从而有利于提高对不同预报方法预报结果的差异性的认识，对进一步提高暴雨预报的准确度有重要意义。
参考文献
[1]
王洋，高广青，王鹏，等.长江中下游暴雨短期集合预报试验[J].科学与财富，2011（1）：1-2.
[2] 陈静，薛纪善，颜宏，等.一种新型的中尺度暴雨集合预报初值扰动方法研究[J].大气科学，2005，29（5）：717-726.
[3] 陈静，李川，冯汉中，等.青藏高原东侧“2003.8.28”暴雨的集合预报试验[J].高原气象，2004，23（S1）：6-14.
[4] 牛震宇，张立凤.基于集合预报思想对一次暴雨过程的数值模拟[J].解放军理工大学学报：自然科学版，2006，7（1）：73-79.
[5] 郭裕福，赵彦.1998年长江流域洪水与海温异常关系的数值模拟研究[J].大气科学进展（英文版），2002（3）：391-404.
[6] 周广强，赵春生，秦瑜，等.云滴谱的不确定性对中尺度降水的影响[J].热带气象学报，2005，21（6）：605-614.
[7] 李跃清.1998年青藏高原东侧边界层风场与长江暴雨洪水的关系[J].大气科学，2000，24（5）：641-648.
[8] 薛纪善.和预报员谈数值预报[J].气象，2007，33（8）：3-11.
[9] 张国材.预报员在未来天气预报中的作用探讨[J].气象，2004，30（7）：8-11.
[10] VIERA A J，GARRETT J M.Understanding interobserver agreement：The kappa statistic [J].Family Medicine，2005，37（5）：360-363.
[11] VRIES H D，ELLIOTT M N，KANOUSE D E，et al.Using pooled kappa to summarize interrater agreement across many items [J].Field Methods，2008，20（3）：272-282.
[12] GAMBATESE J A，BEHM M，RAJENDRAN S.Design’s role in construction accident causality and prevention：Perspectives from an expert panel [J].Safety Science，2008，46：675-691.
[13] 吳伟巍.施工现场安全危险源实时监控与安全风险预测方法研究[D].南京：东南大学，2009.
[14] KUNDEL H L，POLANSKY M.Measurement of observer agreement [J].Radiology，2003，228：303-308.
[15] FlEISS J L，LEVIN B，PAIK M C.Statistical methods for rates and proportions （Third Edition） [M].3rd ed.Hoboken，NJ，USA：John Wiley & Sons，Inc.，2003.
[16] FEINSTEIN A，CICCHETTI D.High agreement but low kappa.I.The problem of two paradoxes[J].J Clin Epidemiol，1990，43：543-549.
[17] 吴毅，胡永善，范文可，等.功能评定量表信度和效度的研究[J].中国康复医学杂志，2004，19（3）：230-231.
關键词 暴雨预报；权重Kappa统计值；一致性；信度评价
中图分类号S165文献标识码A文章编号0517-6611（2015）16-216-03
Reliability Evaluation of the Internal Consistency about Heavy Rain Forecast Methods
HOU Yiguang1， ZHAO Jin1， WU Weiwei2 et al
（1. Xuzhou Meteorological Bureau， Xuzhou， Jiangsu 221002； 2. College of Civil Engineering， Southeast University， Nanjing， Jiangsu 210096）
AbstractOn the basis of eliminating the consistency by contingency and randomness， the consistency of forecast results for three kinds of commonly used method about heavy rain forecast was measured based on weighted Kappa statistics method. The results showed that the essence of forecast results for numerical model forecast and comprehensive experience forecast are consistency. In other words， the consistency of forecast results is not effected by contingency. To avoid the differences from subjective assessment by clear outcome evaluation and dependable reliability evaluation for internal consistency. Thus， we can improve the understanding about the differences of the forecast results which based on different forecasting methods， and that has important significance to improve the accuracy of heavy rain forecasting.
Key words Heavy rain forecast； Weighted Kappa statistics value； Consistency； Reliability evaluation
我国是世界上多暴雨的国家之一，暴雨对我国经济社会发展和人民生命财产构成了严重危害，民政部数据显示，仅2010年上半年我国就因暴雨导致直接经济损失高达2 100多亿元[1]。对于黄淮流域来说，初夏是暴雨多发期，期间暴雨平均发生次数约占全年近62%。准确的暴雨预报对工农业生产、社会生活具有非常重要意义。暴雨预报在汛期天气预报和决策气象服务中也越来越显示出它的重要作用。暴雨预报是一个复杂的系统工程，也是气象工作者一个长期探索的科学难题，很多气象工作者对它的发生发展机理、数值模拟等进行了研究[1]。近几十年来，通过试验工作和理论探索，无论是在分析预测还是在基础理论研究方面均取得了重大进展[2-4]，如郭裕福等研究得出长江流域洪水和印度洋海温异常有紧密关系[5]；周广强等通过分析长江暴雨过程中的云滴谱和地面降水的关系，得出云滴谱的不确定性对长江流域暴雨有重要影响[6]；李跃清研究认为青藏高原东侧边界层风场和长江暴雨有紧密关系[7]。但暴雨过程本身是一个十分复杂的过程，目前仍有很多未解决的问题。因此，准确及时的暴雨量级预报是非常困难的。
当前对暴雨预报主要采用数值预报的输出产品，但由于暴雨的发生发展机理还有很多未解决的问题，数值预报中的物理参数化方案只是暴雨发生发展各物理过程的一种近似，在实际天气预报中会发现采用不同的参数化方案对暴雨的预报会出现较大差异[1]。数值预报系统虽能提供可信度较高的中期时效（一周或更长）的天气形势预报、大尺度天气过程预报和短期定点气象要素值预报，但数值预报毕竟不能替代预报员的综合预报[8]。从预报业务应用上认识数值预报产品性能和误差，对数值产品进行主观分析、判断和误差订正，寻求客观预报与主观预报的最佳结合点，是提高预报水平的有效途径[9]。然而，在不同预报方法下的预报结果所达成的一致性（即预报结果相同），也有可能是由于偶然性和随机性所造成的，现有的文献中缺乏针对解决此类问题的相关研究。也就是说，如何在比较不同预报方法的预报结果时剔除偶然性和随机性的影响，在暴雨预报领域仍然是个空白。笔者基于Kappa统计值的方法，在剔除由于偶然性和随机性造成的一致性的基础上，对数值模式预报、统计预报和综合经验预报3种常用暴雨预报方法的预报结果的一致性进行衡量，从而提高对不同方法预报结果的差异性的认识，该研究对于更加深刻地认识各种预报方法及其预报结果、对进一步提高暴雨预报的准确度有重要意义。 1资料与方法
1.1Kappa统计值概述
Kappa统计值是内部一致性信度评价的重要指标。信度是衡量预测结果内部一致性的程度，也是对预测结果一致性和稳定性的评价标准。Kappa统计值是被广泛采用的、用来衡量去除偶然性以后的内部一致性的统计量[10-13]，在临床诊断、分类等领域也得到了非常广泛的应用[12，14]。这种方法考虑了由于偶然性达成一致的可能性，通过首先从表面一致性里面减去由于偶然性導致一致性的可能性，然后再除以非偶然性导致的一致性，从而计算出相应的Kappa统计值[15-16]。采用的预报结果（筛选出24 h预报雨量为大雨以上的作为研究个例）分为大雨（24 h雨量在25.0～49.9 mm）、暴雨（24 h雨量在50.0～99.9 mm）、大暴雨（24 h雨量在100.0～199.9 mm）和特大暴雨（24 h雨量≥200.0 mm）4个级别，则每种预报方法的结果均有这4种可能。显然，距离远的2个选项的差异性比距离近的2个选项的差异性大，为了反映这种差异性，就要给每一个情况赋以不同的权重，权重Kappa统计值就可以解决这种情况。样本数可根据Kappa精度要求来确定，通常需要20～30个样本量[17]。样本量不需要太大，当样本量很大，且一致性较高时，即使计算结果有统计学意义，其实际意义也不大。
1.2权重Kappa统计值
1.2.1
衡量2种预报方法的一致性。由于理论上的一些原因，Fleiss建议为每对比较选项按照以下的公式赋以权重[15]：
wij=1-（i-j）2（k-1）2
（1）
这也是被广泛采用的赋权重方法之一，式中，i表示行数，j表示列数，k表示选项个数。表面一致性通过以下公式计算：
po（w）=1N∑ki=1 ∑kj=1wijSij
（2）
式中，N表示样本总数，wij表示所赋权重值，Sij表示预报结果分组汇总的二维分布。 由偶然性导致的一致性计算公式如下：
pe（w）=1N2∑ki=1 ∑kj=1wijSiSj
（3）
式中，N表示样本总数，wij表示所赋权重值，Si表示分组中一种预报方法的i分类之和，Sj表示分组中另一预报方法的j分类之和。 则权重Kappa值为：
k（w）=po（w）-pe（w）1-pe（w）
（4）
对Kappa统计值的解释一直是研究人员关心的热点问题。就Kappa值的意义而言，它的变化范围是-1～1。在小于0的情况下，表明结果是由于偶然性造成的，等于1则表示“完美的一致性”。对Kappa统计值进行解释的常用指导性标准如表1所示[11-12]。
表1对Kappa统计值进行解释的指导性标准
Kappa统计值并不是由于偶然性造成的一致性的支持强度
<0很差
0～0.20微弱的
0.21～0.40清楚的
0.41～0.60中等的
0.61～0.80本质的
0.81～1.00几乎完美的
1.2.2
衡量多种预报方法的一致性。当涉及到多个预报方法、多个预报结果时，最常见的做法是分别求取所有两两不同预报方法组合的Kappa统计值，然后取所有Kappa统计值的平均值。用公式表示则是：
kave（w）=1Q∑Qq=1kq（w）
（5）
Fleiss建立了另外一种一次性计算该种情况下的Kappa统计值的模型[15]，但并没有得到广泛的应用。其最大的问题在于对结果的解释上，因为不一致性会随着预报等级的增多以及评价样本数的增多而减小，按照这种方法计算出来的Kappa值相对比较小，不太适合去与一般性意义下的Kappa统计值的指导标准（表1）进行比较。这也是前面提到的样本量不要求很大的主要原因。
1.3案例背景
目前应用于我国气象部门天气预报业务的预报方法主要有数值模式预报、统计预报和综合经验预报（天气图分析法）3种。笔者选取了2005年7月8日～2006年7月10日期间由徐州市气象台利用这3种暴雨预报方法制作的暴雨预报结果（表2）。
表23种预报方法的预报结果示例
序号日期数值模式统计预报综合经验序号日期数值模式统计预报综合经验
12005-07-08ⅡⅡⅠ112005-08-29ⅠⅠⅠ
22005-07-10ⅡⅠⅡ122005-09-21ⅠⅡⅠ
32005-07-15ⅠⅡⅠ132005-09-30ⅡⅠⅡ
42005-07-16ⅠⅡⅠ142005-11-05ⅠⅠⅠ
52005-07-17ⅠⅠⅠ152006-05-05ⅠⅠⅡ
62005-07-23ⅡⅡⅡ162006-06-14ⅡⅠⅡ
72005-07-24ⅠⅠⅠ172006-06-22ⅡⅠⅠ
82005-07-31ⅡⅢⅡ182006-06-29ⅡⅠⅡ
92005-08-02ⅠⅠⅠ192006-07-03ⅢⅡⅢ
102005-08-03ⅠⅡⅠ202006-07-10ⅠⅡⅠ
注：Ⅰ为大雨；Ⅱ为暴雨；Ⅲ为大暴雨；Ⅳ为特大暴雨。其中，数值模式是采用美国NCEP本地化制作预报，统计预报是采用回归相关法制作预报，综合经验是利用业务人员长期经验总结作出预报。
2结果与分析
2.1权重的赋值
按照公式（1）对不同对比选项组赋以的权重如表3所示。
表3权重Kappa统计值中赋的权重 量级ⅠⅡⅢⅣ
Ⅰ1.0000.8890.5560
Ⅱ0.8891.0000.8890.556
Ⅲ0.5560.8891.0000.889
Ⅳ00.5560.8891.000
注：Ⅰ为大雨；Ⅱ为暴雨；Ⅲ为大暴雨；Ⅳ为特大暴雨。
2.2权重Kappa统计值的计算
根据表2中3种预报方法的预报结果进行汇总统计（图1）。根据表3中wij的权重值和图1中的Sij、Si、Sj的统计值，按照公式（2）、（3）和（4），3种预报方法之间的表面一致性、由于偶然性造成的一致性、Kappa统计值的计算如表4所示。从表4可以看出，数值模式预报和统计预报的表面一致性高达0.933，而剔除偶然性造成的一致性后，Kappa统计值仅表示“微弱的一致性”。同理，数值模式预报和综合经验预报为“本质的一致性”，说明其预报结果的一致性并不是由于偶然性造成的。统计预报和综合经验预报之间也仅是“微弱的一致性”。
注： Ⅰ为大雨；Ⅱ为暴雨；Ⅲ为大暴雨；Ⅳ为特大暴雨。
图13种预报方法的预报结果汇总
3 结论
针对现有研究的不足，笔者基于权重Kappa统计值的方法，在剔除了由于偶然性和随机性造成的一致性的基础上，对3种常用暴雨预报方法的预报结果的一致性进行了衡量。结果表明，数值模式预报和统计预报的表面一致性高达0.933，而剔除偶然性造成的一致性后，Kappa统计值仅表示“微弱的一致性”；同理，数值模式预报和综合经验预报为“本质的一致性”，说明其预报结果的一致性并不是由于偶然性造成的；统计预报和综合经验预报之间也仅是“微弱的一致性”。可见，这种统计学方法可同时排除偶然一致性和系统
性误差的干扰，比一般的相关系数更好[17]。采用基于权重
表43种预报方法之间的一致性衡量计算结果
统计项数值模式预报和统计预报数值模式预报和综合经验预报统计预报和综合经验预报
表面一致性0.9330.9830.928
偶然一致性0.9220.9220.922
Kappa统计值0.1490.7860.071
（含义）（微弱的一致性）（本质的一致性）（微弱的一致性）
Kappa统计值的方法来衡量这3种预报方法的结果是清晰的，内部一致性的信度评价是可靠的，避免了来自主观评价的差异，从而有利于提高对不同预报方法预报结果的差异性的认识，对进一步提高暴雨预报的准确度有重要意义。
参考文献
[1]
王洋，高广青，王鹏，等.长江中下游暴雨短期集合预报试验[J].科学与财富，2011（1）：1-2.
[2] 陈静，薛纪善，颜宏，等.一种新型的中尺度暴雨集合预报初值扰动方法研究[J].大气科学，2005，29（5）：717-726.
[3] 陈静，李川，冯汉中，等.青藏高原东侧“2003.8.28”暴雨的集合预报试验[J].高原气象，2004，23（S1）：6-14.
[4] 牛震宇，张立凤.基于集合预报思想对一次暴雨过程的数值模拟[J].解放军理工大学学报：自然科学版，2006，7（1）：73-79.
[5] 郭裕福，赵彦.1998年长江流域洪水与海温异常关系的数值模拟研究[J].大气科学进展（英文版），2002（3）：391-404.
[6] 周广强，赵春生，秦瑜，等.云滴谱的不确定性对中尺度降水的影响[J].热带气象学报，2005，21（6）：605-614.
[7] 李跃清.1998年青藏高原东侧边界层风场与长江暴雨洪水的关系[J].大气科学，2000，24（5）：641-648.
[8] 薛纪善.和预报员谈数值预报[J].气象，2007，33（8）：3-11.
[9] 张国材.预报员在未来天气预报中的作用探讨[J].气象，2004，30（7）：8-11.
[10] VIERA A J，GARRETT J M.Understanding interobserver agreement：The kappa statistic [J].Family Medicine，2005，37（5）：360-363.
[11] VRIES H D，ELLIOTT M N，KANOUSE D E，et al.Using pooled kappa to summarize interrater agreement across many items [J].Field Methods，2008，20（3）：272-282.
[12] GAMBATESE J A，BEHM M，RAJENDRAN S.Design’s role in construction accident causality and prevention：Perspectives from an expert panel [J].Safety Science，2008，46：675-691.
[13] 吳伟巍.施工现场安全危险源实时监控与安全风险预测方法研究[D].南京：东南大学，2009.
[14] KUNDEL H L，POLANSKY M.Measurement of observer agreement [J].Radiology，2003，228：303-308.
[15] FlEISS J L，LEVIN B，PAIK M C.Statistical methods for rates and proportions （Third Edition） [M].3rd ed.Hoboken，NJ，USA：John Wiley & Sons，Inc.，2003.
[16] FEINSTEIN A，CICCHETTI D.High agreement but low kappa.I.The problem of two paradoxes[J].J Clin Epidemiol，1990，43：543-549.
[17] 吴毅，胡永善，范文可，等.功能评定量表信度和效度的研究[J].中国康复医学杂志，2004，19（3）：230-231.