2018年

  1. 2025年
  2. 2024年
  3. 2023年
  4. 2022年
  5. 2021年
  6. 2020年
  7. 2019年
  8. 2018年
  9. 2017年
  10. 2016年
  11. 2015年
  12. 2014年

第三期

  1. 第一期
  2. 第二期
  3. 第三期
  4. 第四期
  5. 第五期
  6. 第六期
  7. 第七期
  8. 第八期
  9. 第九期
  10. 第十期
  11. 第十一期
  12. 第十二期

专题报告

首页 > 《科技信息快递》 >2018年>第三期>专题报告
2010年以来世界主要气象中心业务模式性能量化评估指标分析 发布日期 :2026-01-05  

 贾朋群 田晓阳

1 引言

  为了获得世界上主要气象中心的业务进展主要指标,尤其是这些中心之间预报模式客观对比的结果,本文主要依据2010年以来,各气象中心,尤其是世界气象组织及其所设机构、项目等召开的各种相关学术会议信息,以及各中心所在机构的业务发展年报、系列报告、技术文件和网页信息等,收集了以图表为主要载体的模式发展指标。

  较为规范和客观的世界上各主要气象中心(国家气象机构)年度进展情况的收集和整理,来自WMO的GDPFS(全球数据处理和预报系统)项目。自2001年以来,每年GDPFS都要收集世界上主要气象中心针对本中心气象业务模式(全球和有限区域模式)进展的年度报告,并且从2005年开始,该项目基于各气象中心上报的年度数值天气预报进展报告,给出全球NWP模式发展的全面评价报告。这一规范的统计评价,目前在WMO网站上可以公开下载获取的最新结果为2015年。

2 全球10个气象中心模式性能验证和最新比较结果

2.1 WMO-CBS评估

  WMO作为联合国旗帜下各国气象部门的协调机构,一直关注作为天气预报和气候预测重要手段的天气气候模式能力的提升,以及针对这种能力的量化评估和对比。2011年WMO第16届大会上,通过了在基本系统委员会(CBS)建立一个评估确定性NWP预报的验证中心的决议,同时指定ECMWF作为该中心(又可称为LC-DNV)。

  需要指出的是,WMO认定的验证中心,同时也是在相关业务上领先和具备或有能力具备完善和客观验证评价的气象中心。这些中心首先对各类数值预报产品的质量,起到了监督的作用,提示全球相关部门NWP的准确性。同时,通过公布不同中心按照相同技术标准和规范各类预报产品相互比较的结果,也从客观上标注了不同中心预报产品的质量和特点。CBS以及GDPFS项目开展这一活动的目标,是促进各气象中心提供持续标准化确认的预报产品,以便让用户以最好的方式使用各类产品,也让中心找到改进产品质量的机会。

  近年来,WMO和被认定的专门中心,充分利用网络展示和公布验证结果(图2.1),ECMWF相关网页(http://apps.ecmwf.int/wmolcdnv/)上,还具有互动功能,可以按照需要,在网上选择比较的中心、产品、预报时段和平滑平距方法等,绘制出各中心NWP性能的比较图。

  这样的NWP产品的验证和比较,首先让各国气象业务中心受益,有利于模式和产品的持续改进。为此,CBS还制定了详细的气象中心的确定性NWP预报产品流程和交换标准,用于验证评分。

  各国气象中心通过参与LC-DNV流程获得其产品的评分,而LC-DNV的作用就是促进标准化验证的实施,确保验证结果在气象中心间交换,给出参与中心之间可以比较的验证结果。WMO基本系统委员会(CBS)标准化的确定性NWP产品验证的程序,在《GDPFS手册》(卷1,PartII,附件II.7,表F)中给出,该手册2010年出版,并在2013年和2015年分别进行了更新。最新的手册可以在WMO网站上下载(http://library.wmo.int/pmb_ged/wmo_485-v1_en.pdf)。按照2011年第16届WMO大会相关决议,LC-DNV将协调和促进这一程序的更新,鼓励所有GDPFS中心尽快按照更新后的流程,继续支持LC-DNV验证及相关工作的开展。

2.2 全球气象中心NWP模式最新评估

  如前所述,利用LC-DNV中心ECMWF专门网页(图2.2),本节给出最新的世界各主要预报中心模式能力验证的结果和比较。在表1中给出了本节及其他比较结果中,参与比较的10个气象中心的机构简写词。这些验证均围绕相关业务中心核心业务模式展开。在表2中我们依据最新文献信息(见“深入阅读”),给出相关中心核心模式主要指标的细节。

*注释:模式数据来源 

1-6:见“深入阅读”[2],截止2017年8月。 

7:见“深入阅读”[1],截止2011年。 

8:韩国气象局2016年度报告.韩国气象局GDFPS2015年度报告.截止2015年12。 

9:澳大利亚气象局 2016-17 年度报告,截止2017年9月。 

10:俄罗斯气象局GDFPS 2015年度报告。截止2015年12月。 

  目前,ECMWF的LC-DNV网页可提供的NWP验证结果图的功能说明如下。

  验证和比较图。可以给出不同中心不同提前时间平均得分的演化。按照预报时次,可分别选取00和12UTC。其中给出的“原得分”是指之前计算流程,2.5°x2.5°分辨率等条件下模式运行结果,而新得分则给出更新后流程结果。绘图时,取平均可以选1个月(由中心提供)或3个月(基于月图由LC-DNV处理)。

  绘图的物理量。包括地面、高层大气不同高度的温度、湿度和风等物理量场的预报结果,分别与观测(高层物理量基本基于探空数据)和分析结果进行对比的验证结果。而验证的区域则包括半球和分区(表3)。为了让绘制的图效果更加好,可以取滑动均值,包括1、3、和12个月滑动平均。图2.3-图2.6分别给出有代表性的结果。这些结果,均为最新的2018年2月相关业务系统性能的验证和比较结果,集中代表了当前全球气象业务的最新状态。

  从这些最新的模式预报验证结果中可以看出以下特点。

  1)ECMWF在各主要变量的预报中,全面占领评分最优的位置,而且这种最佳几乎针对24-240h预报的所有时段和变量。

  2)在24-144h预报时段,英国气象局的指标仅次于ECMWF,位居第二,但英国局与ECMWF在指标上的差距,随预报时效增加而被拉大。

  3)在144-240h预报时段,因英国局没有预报产品,ECMWF更是拉大了与其他中心的差距,但是这一情形在216-240h时段出现了变化:韩国和澳大利亚的误差几乎与ECMWF在同一水平上。

  4)在最新验证结果中,美国NCEP的指标,在96h以后的长时效预报中,明显较其他中心差。

3 2015年世界气象组织公布的结果

  前节所述世界气象组织指定由LC-DNV开展动态验证活动,虽然随时更新,但是进入该实时验证系统的气象中心及模式,目前只有10个。而WMO各成员更全面的评估,包括数据处理、同化和模式运行等GDFPS项目相关业务内容的年度评估报告,则是基于成员机构的年度上报稿给出,并在专门的网页上公布(图3.1)。这样系统和规范化,依据GDPFS手册中相关标准开展的各国自评估和GDFPS项目对全球整体进行年度评估的工作,始于2001年。目前,WMO公布的最新年度报告为2015年度,在各气象中心提供年度报告的清单中,已经有30多个国家或地区和组织,提交并公布了最新的2015年度进展报告,其中既包括了ECMWF以及法国、德国、中国香港、日本、韩国、英国等先进中心,也有埃及、泰国等发展中国家的气象中心。公布清单中的中国和美国提交的最新年度报告分别为2014年度和2013年度。各国是否及时提供报告,一方面与相关管理机构有关;另一方面也依赖于业务系统在该年度的更新情况。换句话说,出现系统较大升级和指标利好时,各中心更倾向于积极上报最新进展报告。本节基于这些截止目前最新的国家年度进展报告和GDFPS项目的综述报告,给出相关的信息,其中最为关注的是中国在各项验证指标上,与世界和亚洲水平的对比。

3.1 2015年发展概况

  WMO的统计表明,2015年,全球有92家气象中心借助计算机开展数值天气预报,其中有18个中心运行全球模式,1个中心运行半球模式。运行分辨率25-36km以上大尺度和25-36km以下中尺度区域模式的中心分别有20家和81家。各中心1990年以来模式运作情况在图3.2中给出。其中中尺度区域模式的快速增加较为明显,一方面是模拟技术进步带来的中尺度模式性能快速提高驱动;另一方面也和各国更加注意本国或地区预报细节的驱动有关。而全球模式的快速流行和半球模式的“不作为”的原因,来自高速计算机能力的提升和更多的气象中心着眼于“全球视野”的战略,以及多家机构完全开放其模式,让模式引进更加方便等多个因素。

  从各国预报模式进展报告上分析,数值预报方法的大面积覆盖全球气象部门,主要得益于计算机系统的普及以及全球气象界的努力,其中,业务和科研都可应用、完全公开和依靠气象界群体努力还在不断改进和更新的、便于引进和应用的WRF等模式,起到了推波助澜的作用。其次,已经运行全球模式的气象中心,大多公开提供运行和中间结果,可方便地作为区域中尺度模式初始场等因素,也是让更多的气象中心或者自主,或者通过引进、合作开展中尺度模式预报业务,并通过与先进气象中心捆绑来共享NWP进步的红利,从而提升预报能力。

3.2 2015年度ECMWF及主要气象中心的进步

  在ECMWF最新的年度报告里,该中心作为WMO指定的预报验证机构,还给出了部分世界领先气象中心模式能力的进步和各中心间对比情况,利用的指标均为ECMWF委员会审定的代表模式系统预报能力的最为核心的指标。

  在图3.3中,ECMWF自1998年以来预报能力的进步基于中心委员会2011年认定的衡量预报模式系统核心能力的2项指标给出,即500hPa高度距平相关达到80%的预报时效和850hPa温度概率预报技巧达到25%的预报时效。两项指标均针对北半球中高纬度。从给出的结果看,第一项指标从20世纪末的5天,提高到6.5天以上;第二项指标则从5.5天提高到接近9天。

  在图3.4中,对比了全球最强的ECMWF及英国、美国、日本和加拿大4个国家气象中心模式预报系统的相对能力和2014-2015年的技术进步,所用的指标和前述的第2个指标接近,即850hPa温度概率预报技巧得分。在这两种对比中,各国模式预报系统在一年的时间里进步明显,尤其是加拿大气象局10天以上的预报技巧提升最快,几乎赶上了欧洲中期天气预报中心,而英国气象局在这项指标的比对中,几乎是稳定地落到了最后。

  在图3.5中比较的,是概率预报情况。全球开展概率预报较好的4个中心,分别采用SEEP(the Stable Equitable Error in Probability Space,概率空间稳定平衡误差)和CRPSS(the Continuous Ranked Probability Score and Skill,连续等级概率得分和技巧)进行预报验证的情况。该验证数据完全取自日常预报,其中HRES和ENS分别指ECMWF的高分辨单一预报(ECMWF high-resolution single forecast)系统和中期/月集合预报(the ECMWF medium-range/monthly ensemble)系统。该对比是针对全球,4个中心的概率预报能力呈现相对较为清晰的排位,而不同的评价体系,虽然对这样的“座次”影响并不明显,但是在差距方面则呈现很大的不同。未来针对概率预报的验证,找对指标似乎也面临着考验。

3.3 中国与欧亚领先中心相关指标对比

  利用中国(2014年)和ECMWF和日本气象厅(均为2015年)年度进展报告,可比较中国与世界及亚洲先进气象中心在模式预报准确性上的各种指标。这些指标,来自规范化的WMO各成员年度报告中的第5章“预报产品的验证”。

  由于中国2014年的年度报告中,给出的验证指标较少,而且使用的一些指标,例如集合预报指标,仅有日本气象厅报告中给出了针对同样指标的验证情况,这就限制了本节中外中心指标间更多对比的可能。

  在图3.6图3.7分别比较了中国、ECMWF和日本模式预报500hPa高度和250hPa风场两个预报量针对北美、欧洲和亚洲3个区域的24h、72h和120h预报指标,以及中日概率预报针对500hPa高度和850hPa温度两个预报量全球的72h、120h和168h预报指标。尽管中国指标为2014年,比其他中心要早1年,从结果上看,中国与世界及亚洲领先中心之间的差距,还是体现在模式能力差距上。但是,这种差距,也包括日本与欧洲之间的差距,在针对亚洲的预报相对较小,也从一个侧面说明中日气象部门的预报系统,首先在东亚地区获得改进的趋势。

  限于中国年度报告的更新,以及报告中提供的模式能力验证信息相对不足,我们在本报告中无法从更多的指标全面对比中国与世界发达国家的模式能力,分析中国气象业务模式的优势和劣势所在。已有的结果是初步的,但是基本表明了中国预报模式能力大抵处于全球第三集团,且在向第二集团过渡。创新和新技术应用相对于全球的速度,会决定未来中国的国际地位。

4 其他2010年以来模式能力分类对比结果

  本节分5个主题,将散见于各类文献中与各气象中心模式运行能力提升和对比的情况进行展示和初步分析。这些数据至少被更新到2010年及以后,比较好地说明了目前各主要气象中心模式能力的发展情况和不同模式的特色,以及模式间对比的情况。

4.1 预报模式的总体发展态势

• 模式能力稳定提升的同时,模式性能的起伏,以及带来的针对某次天气过程预报的不确定性,依然较高

  如图4.1,全球最重要的气象预报中心ECMWF,以衡量模式预报能力的500hPa高度场预报指标,给出该中心自1980年开几代模式预报能力的进展情况。在12个月的滑动平均图中,预报有效性指标(ACC大于60%),从1980年代初的5天,20年后的2010年2月被加倍,达到10天。这背后的推动力之一,是模式精细化水平等的提升。

  然而,从预报统计结果上看,10天的预报时效虽然最早在2010年2月就曾经发生,但整体上看还是“个案”,长期平均的预报时效稳定在8天都存在变数,这也构成了天气预报模式不确定性的一个方面。这样的判断也被更多的中心和最新的预报结果所证实。包括欧洲中心、美国、英国和加拿大等国家气象部门1996年以来的预报能力结果来看(图4.2),可以得到类似的结果。而且当把预报有效性指标ACC提高到大于80%的时候,预报时效减少2天左右。

• 随着预报时效的增加,各中心间的差距被拉大

  为了给出上述可视化结果以及近年来世界上主要气象中心模式能力对比情况和模式误差的年变化等信息,我们在图4.3中给出加拿大气象局针对北美地区2015年1月到2017年12月共7个国家或组织的9个模式500hPa高度月平均模式预报相对于探空数据的RMSE对比。从图中可以看出,用RMSE衡量的各模式间的预报差距,24h预报的差别大约在4-5米之间,而120h预报的差别则提高到15米左右。此外,1天预报,英国、EC和加拿大等中心出现交替领先的情况,但5天预报,EC在大部分时间里误差最小,基本保持稳定领先。

• 算法和数据处理手段的创新是模式性能持续提高的关键

  一直位居全球气象中心预报准确性前端的英国气象局,近30年来期预报模式经历了众多改进和更新,在图4.4中给出了伴随该中心业务模式取得进步的同时,在动力核心、物理参数化、分辨率和数据同化等方面的改进历程。在图中还给出用于天气气候研究模式分辨率的提升,也保证了一般大气环流模式向耦合模式和地区系统模式的发展。

• 一周预报是目前模式创新的前沿和竞争热点

  随着模式能力的提升,各国在业务模式上的竞争在一周左右的中期预报上展现的最为充分。例如,欧洲中心制定的新的战略,强调未来针对高影响天气2周预报的准确性。(该战略的详细报道,见本刊2016年9期)就目前而言,较好的可用预报时限还停留在一周左右。图4.5给出2016年5月-2017年4月针对北半球(北纬20-90度)500hPa位势高度预报距平相关,世界上5个主要预报中心进行的第6天预报,日本、加拿大、美国、英国和ECMWF分别为(%)80.0、80.1、82.4、82.6、85.8。这些数字基本代表了目前从短期预报向中长期预报过度的基准指标,即6天预报的平均相关在80-86%之间。利用10年时间,将这一指标加倍,即2周预报达到相似的准确程度,预报模式及预报系统的研发和改进,任重而道远。ECMWF提出的技术突破口,一是更多卫星全天候数据同化为主的数据端重大改进;二是模式端可扩充性(Scalability)功能引领的预报能力提升。而让模式中更多“灰色地带”被模式解析(见本刊2018年1期)也是让模式更强大的必经之路。

4.2 以某个气象中心预报为基准的对比

  在模式预报能力的各种文献中,在对比不同中心预报模式能力时,常常有以某个中心为基准开展的对比。这样的对比更能清晰地看到不同中心预报能力之间的差异,以及针对不同的预报对象或指标,各中心预报产品在能力上的高下。

• 英国气象局基本坐稳“第二把交椅”

  图4.6分别给出英国气象局和美国NCEP制作的,以英国气象局模式能力为基准的预报能力对比图。从多要素和多层次各种预报要素的效果看,英国气象局的全球模式,基本上在世界上占据了第二把交椅,其预报误差仅大于欧洲中期天气预报中心。在5天预报方面,NCEP制作的对比图中显示,当NCEP模式GFS于2010年完成升级后,有短暂的几个月预报指标超越英国而位居第二,但从长远来看,NCEP目前并没有全面超越英国气象局。

• 美国NCEP的GFS模式被追赶形势险峻

  图4.7分别给出几家主要预报中心1996-2012年5天预报能力的变化,以及以NCEP为基准这些中心模式间差异的分析。

  从各家预报模式能力与NCEP的GFS模式能力对比上看,上个世纪末以来,欧洲中心和英国气象局占据预报模式能力前二位的态势较为清晰。

  不多的例外,出现在2002-2005年南半球预报,3年里大部分时间NCEP模式好于英国气象局模式。此外,最近10年来,加拿大模式的性能稳定提升,在和NCEP争夺第三名,甚至于英国气象局争夺第二的竞争中,也从有所斩获。但是图中给出的最新(2012年)年平均指数表明,前2位的欧洲中心和英国气象局,相比3-4位的美国和加拿大,在南半球的预报优势(高出4.55%),相对于北半球(高出3.5%)更加突出。

4.3 数据同化发展的趋势:卫星和特种数据成为关键

  目前在天气气候模式竞争中,虽然比拼的指标大多在预报结果的验证层面上,但是因为模式的预报结果,在很大程度上依赖于预报初始场,而预报初始场的确定,都包含在数据同化这一最重要的业务流程中,同化模式和同化系统整体的重要性不亚于预报模式本身。正因为如此,数据同化通过各种技术手段创新、以及用科学的方法将不同源的数据按照符合均一性原则的方式,提供给预报模式,就成为与模式本身改进同等重要的竞争(图4.8)。

4.4 概率预报:确定指标成为关键

  概率预报是未来数值天气预报,乃至采用人工智能方法进行预报的方向之一,很多气象中心已经有了很成熟的预报方法、流程和释用等方面的规范。目前世界上最先进的气象中心都包含了日常概率预报,但预报结果之间的比较(图4.9)会随着得分指数的不同而出现较大的变化,这一点与概率预报中的风险成分密切相关,模式间更科学化的对比还依赖研究给出更加客观的指标。

4.5 热带气旋及降水等要素预报:最关键指标

  尽管目前在数值天气预报领域,各气象业务中心的主要精力放在了全球模式研发上,但是一些特别重大的天气过程预报,例如热带气旋和降水相关的预报,因为具有很关键的应用而备受瞩目。例如,热带气旋(含飓风、台风)路径和强度预报(图4.10-11)和降水预报(图4.12),因为预报结果与民生密切相关,已经成为气象中心考核的重要指标。

5 结果讨论

  本报告选取的指标,以WMO主导的NWP验证活动给出的指标为基础,同时考虑来自各种学术文献的指标,后者进行比较的要素和产品时段等,大多以研究论文背景数据方式给出,与WMO验证活动以GDPFS手册为指导的对比有所不同。这些指标的展示和相互对比,都着眼于天气模式的发展和应用价值,具有很好的指导意义。

  因为对应的中国数据缺乏,报告中除3.3节外主要给出世界上主要预报中心业务模式能力的发展情况,这些“碎片”化的信息基本上勾画出目前数值预报领域的全球格局。在这样的格局中,我们需要更多的努力,找到中国气象中心的位置,并科学地分析我们的优势与差距,分析差距背后需要努力的方向,为中国从气象大国向强国转变制定可行的路线图。

  此外,在WMO组织的各国业务中心预报能力验证活动中,中国的地位并没有受到应有的重视。例如ECMWF开展的实时验证中,选取的10个中心里,不知什么原因“漏掉”了中国,但同在亚洲的日本和韩国并未缺席,模式能力相对较弱的俄罗斯也位列其中。我们在努力推进气象现代化的同时,在类似的国际场合力争不缺席,应该是一个重要努力方向,而这种不缺席,也应该从及时提交包含了更多评价指标的进展年度报告抓起。我们期待不远的将来,CMA用精彩的指标得分,书写世界NWP发展中的中国元素。

  

深入阅读

  一些最新的研究论文,对世界上主要气象业务中心预报模式特征和同化系统能力等方面进行了分析,本文列出其中部分论文信息并在附录2中给出全文。

[1]Bauer,P.,Auligné,T.,Bell,W.,Geer,A.,Guidard,V.,Heilliette,S.,Kazumori,M.,Kim,M.,Liu,E.,McNally,A.,Macpherson,B.,Okamoto,K.,Renshaw,R.and Riish jgaard, L.Satellite cloud and precipitation assimilation at operational NWP centres.Quarterly Journal of the Royal Meteorological Society,137(661),pp.1934-1951.

[2]Geer,A.,Lonitz,K.,Weston,P.,Kazumori,M.,Okamoto,K.,Zhu,Y.,Liu,E.,Collard,A.,Bell,W.,Migliorini,S.,Chambon,P.,Fourrié,N.,Kim,M.,KÖpken-Watts,C.and Schraff,C.(2017).All-sky satellite data assimilation at operational weather forecasting centres.Quarterly Journal of the Royal Meteorological Society.

[3]Gustafsson,N.,Janjié,T.,Schraff,C.,Leuenberger,D.,Weissman,M.,Reich,H.,Brousseau,P.,Montmerle,T.,Wattrelot,E.,Buèánek,A.,Mile,M.,Hamdi,R.,Lindskog,M., Barkmeijer,J.,Dahlbom,M.,Macpherson,B.,Ballard,S.,Inverarity,G.,Carley,J.,Alexander,C.,Dowell,D.,Liu,S.,Ikuta,Y.and Fujita,T.(2017).Survey of data assimilation methods for convective-scale numerical weather prediction at operational centres. Quarterly Journal of the Royal Meteorological Society.