█ 唐伟（特约，中国气象局发展研究中心）译

█ 张定媛 田晓阳审校

一、引言

　　近年来，数值天气预报（NWP）模式在分辨率上有了显著提高。与此同时，观测系统的数量和质量也在提高，如美国新一代静止气象卫星R系列（GOES-R）将会产生高质量的高时空辨率数据。这些数据包含十分有价值的信息，但是它们的种类和数量对预报员来说是海量的。这种海量数据通常被称为“大数据”。人工智能（AI）和相关的数据科学方法已经被开发出来，用于处理各种学科的大数据。

　　应用AI技术可以大大提高对各种高影响天气的预测能力。AI技术有许多优点，包括方便地进行空间和时间的概括，处理大量的预测变量，将物理理解集成到模型中，并从数据中发现额外的信息。近年来，预报员和研究人员已经开始更广泛地采用AI技术。本文的主要目标是介绍新一代AI技术，并展示其在预测各种高影响天气领域中的应用。

二、相关研究

1.人工神经网络

　　人工神经网络（ANN）是加权非线性函数的互联网络。实现多层连接和训练的人工神经网络可以表示任何非线性函数。它们也为深度学习方法提供了基础。自1980年代后期以来，人工神经网络在气象中得到了应用，包括云分类、龙卷监测预报、雷雨大风、冰雹谱、降水分类、风暴跟踪、雷达质量控制。

2.支持向量机

　　支持向量机（SVM）也被用于探测和预测龙卷。支持向量机通过核函数将数据转化为非线性空间然后学习这个非线性空间的线性模型。人工神经网络和支持向量机都是灵活和强大的，但想解释它们产生的模型所识别现象的潜在物理机制时通常会遇到困难。对于人工神经网络，通过非线性函数来解释权重是很困难的。对于支持向量机，由于做了数据转换，所以很难识别数据的最重要特征或模型识别的内容。

3.线性回归、岭回归、弹性网络

　　线性回归是最简单、最著名的统计学习方法之一，自20世纪50年代初以来就被用于天气预报。Kitzmiller等利用回归预测灾害性天气的概率，Billet等用它来预测最大冰雹大小和大冰雹概率，Mecikalski等利用逻辑回归预测了对流发展的概率。线性回归方法最适合于应用在需要线性模型并且具有有限的特征集的问题上。如果特征值是冗余的或不能预测的，线性回归就不适用。岭回归为了简化模型和提高泛化能力，对平方和进行了惩罚。Lasso估计方法对权重绝对值之和进行了惩罚，因其倾向于去除不相关的变量。弹性网络方法的特点则是将这两种惩罚结合起来。

4.决策树

　　基于决策树的方法在处理大数据的数据科学中很受欢迎。决策树能识别和学习最相关的变量，使用户能够尽可能多地提供预测功能特征，而不用担心外来变量是否会使训练过程崩溃。决策树也是直接可读的，可以给出模型找到的被预测事件相关关系。基于决策树的方法在多种天气预报应用中已经被证明是非常有用的。

　　虽然第一个目标决策树的学习方法直到1980年代中期才被开发出来，但早在20世纪60年代中期，气象学中就开始使用主观（人类派生的）决策树方法。决策树通过在每个级别的数据中识别最相关的问题来递归地分割数据。图1所示的决策树可以自动预测冰雹是否会发生。

5.随机森林

　　一个非常有用的和决策树相关的方法是随机森林。随机森林是一系列决策树的集合，每个决策树都在单独的一组引导重采样训练数据上进行训练，并从每个节点上的随机问题子集中选择。由于是用不同的数据训练的，而且使用不同的预测因子，随机森林中的决策树是多种多样的，相当于提供了一个“专家组”，因此比任何一个单独的决策树都表现得更好。

6.梯度提升决策树

　　梯度提升决策树（GBRT）建立了一组使用提升（boosting）进行训练的决策树集合。在随机森林中每个决策树都由同等权重的案例进行同等加权和训练，而梯度提升决策树则在不同加权的数据子集上进行训练，权重由前一个训练步骤的误差残差决定。由于随机森林中每个树的权重相等，因此，随机森林将倾向于回归到预测平均值，因此预测不精确。梯度提升决策树可以解决这个问题，但有时也需要模式后校正。我们通常使用保序回归进行模型后校正。随机森林和梯度提升决策树都提供了度量数据集每个属性的重要性的功能，这被称为变量重要性。在对树进行训练之后，每个变量的数据都重新排列了，并且对排列后的数据和原始数据的性能都进行衡量。最重要的变量是导致性能下降最大的变量。这些重要性估计可以帮助对数学模型进行物理解释。

三、AI在高影响天气上的应用

1.风暴持续时间

　　研究的训练数据来自一个叫做“Prob Severe”的前操作产品。Prob Severe应用美国大陆的多雷达多传感器的组合反射率（从多个雷达同时获得的最大反射率）来实时识别和跟踪风暴。此外，还提供了少量的属性，用于总结风暴附近环境的信息，以及当前风暴速度的信息。训练标签是通过运行一个名为“最佳跟踪”的事后风暴跟踪程序来提供的。这些标签基于多年遥感风暴再分析计划的数据。训练和测试数据取自2015年4月9日至2016年1月31日。给出每两分钟每个风暴单体的数据。为了确保训练和测试集之间没有交叉，训练数据不包括7月的所有数据，7月份和最接近测试数据的一天数据都从训练中删除。为了误差订正，我们保留了额外的一个月的数据（8月）。这些训练数据也对所有持续时间少于7200秒的风暴进行了抽样，其中只有10%的数据用于训练。所有在训练集中超过7200秒的风暴都被留存。这仍然产生了2872680个样本用于训练。测试数据相对7月的每一天进行了独立评估，使我们能够引导结果进行统计分析。测试数据没有被抽样。我们测试了三种机器学习方法：梯度提升决策树、随机森林和弹性网络（EN）。我们还检查了使用保序回归校正后的训练偏差。我们使用验证集查验了随机森林和梯度提升决策树中标准参数的多个设置。对随机森林和梯度提升决策树的最佳选择是100棵树和最大深度5。对于梯度提升决策树，Huber损失函数明显优于其他损失函数。对于弹性网络，我们使用了0.05的alpha值和0.9的L1比率。图2显示了预测的分布和观测到的分布。梯度提升决策树是所有预测中表现最好的方法。尽管偏差纠正的随机森林能够提高终点的性能，但它并不是对模型的全面改进，所以被排除在实时测试之外。

　　将最佳的持续时间预测方法梯度提升决策树应用到NOAA的灾害天气试验台（HWT）—概率灾害信息实时业务系统中。这个系统基于Prob Severe来生成雷暴灾害的自动概率预测。在2016年5月和6月进行的包括9个国家天气局（NWS）预报员的为期3周的人机混合实验中，对预测进行了测试和评估，并对预报员对该方法的接受度进行了评估。如图3所示，预报员在75%的预报中应用了梯度提升决策树预测方法的预报，这表明大多数预报员相信AI预测方法，或者在作出预警时该预测在可接受的范围之内。然而，有证据表明，预报员只要觉得（系统给出的）默认持续时间值“过得去”，就会有接受默认值的强烈倾向，而实际上实验期间的默认持续时间值是基于我们的预测赋值的。因此，预报员可能对默认值的可信度没有给予太多的思考。有趣的是，优化决策的研究表明，“选择架构师”应该考虑到不作为的偏差，通过分配最有可能的最佳选项来选择可用的默认值。

2.灾害性大风

　　NWS定义的灾害性大风是阵风风速≥50海里/小时（25.7米/秒）的风。研究使用AI技术来预测在不同的缓冲距离内（0、5、10公里左右的风暴单元）和时间窗口（0-15、15-30、30-45、45-60和60-90分钟）的大风的概率。我们使用两个数据集来创建预报因子：来自MYRORSS的质量控制雷达图像和来自快速更新循环（RUC）模型的近风暴环境探测数据。MYRORSS的分辨率为1公里，5分钟，而RUC的分辨率13公里（早期20公里）和1小时。为确定何时何地发生灾害性大风，我们使用以下四个数据集的地表观测：气象同化数据引入系统，俄克拉荷马州中尺度观测网络，1分钟机场气象报告和NWS局地风暴报告作为验证数据。

　　在训练模型之前，应用了四种数据处理方法。首先，通过使用实时和事件后方法来识别和跟踪风暴单元。实时跟踪勾勒了每个风暴单元的边缘，事后跟踪订正了实时跟踪的不足，主要是错误的截断。本研究处理了美国本土（从2004年到2011年所有NWS报告中风速≥30海里/小时的天数和MYRORSS可用数据）共804天的数据。这样就有近两千万的风暴对象，一个“风暴对象”是在一个时间步长内的一个风暴单元。其次，风的观测与风暴单元有随机关联关系。对于一个风的观测W，将风暴对象沿着各自的轨迹插值到和W相同的时间上。如果最近的风暴对象S的边缘在给定的缓冲距离（0，5或10公里）内，W和S以及其他所有在同一轨迹的风暴对象有关联。第三，计算每个风暴对象的预测因子。有四种类型的预测因子:雷达统计量（平均值、标准差、偏度、峰度和仅根据风暴对象内的像素计算得到的12个变量中每个变量的7个百分位数以及同样算法得到的梯度大小）、风暴运动（速度和方向）、形状参数（风暴对象的面积、方向、偏心度等）和测深指数（动态和热力学）。利用基于Python的探空和高空风分析图分析和研究程序（SHARPpy），计算了测深指数。这样共有431个预测因子。第四步是标签每个风暴对象S。如果在给定的缓冲距离和时间窗口，S和一个风速≥25.7米/秒的观测相关联，则S的标签为真（图4a）。第五，对于每个缓冲区距离和时间窗口都训练一个梯度提升决策树集合。然后，对独立数据进行保序回归的训练，以订正梯度提升决策树。最后，对校准模型（梯度提升决策树+线性回归）进行独立数据的测试。

　　对缓冲距离中中位数（5公里）和前置时间中位数（30-45分钟）的测试结果如图4所示。图4中所示的模型是一个由500个梯度提升决策树组成的集合，用AdaBoost算法进行训练，再采样因子为0.15，学习速率为0.1，每个分支节点测试25个变量，每个叶节点至少有10个风暴对象。测试结果基于12155个测试案例。因为决策树执行内置变量选择，所以没有进行预模型变量选择。ROC曲线下的面积AUC>0.9，这结果通常被认为是优和可靠性曲线（图4d）非常接近最佳（x=y）。此外，最大临界成功指数（CSI）出现的频率偏差为1.0（无偏模型），这表明不需要为其他性能指标牺牲偏差。

3.强冰雹

　　对冰雹的发生和大小的预测需要提前数天或数小时来指导对对流的趋势展望和监测。对流解析模型（CAM）集合可以提供有关风暴强度、位置和演化的信息，但不直接预测地表的最大冰雹大小。基于CAM输出的有关风暴及其环境的信息，利用机器学习模型可以预测冰雹发生的概率和预期的冰雹大小分布。基于机器学习的冰雹预报模型已经在两个CAM集合系统上实时运行，并在HAILCAST诊断和风暴替代变量（如上升气流螺旋性）中已验证。

　　研究使用一个以风暴为中心的方法来开展基于机器学习的冰雹预报。首先，利用增强的流域特征识别技术，从2014年和2015年风暴分析预测中心（CAPS）的CAM集合的每小时霰总量垂直最大场中识别出潜在的冰雹。在NOAA国家强风暴实验室（NSSL）多雷达多传感器（MRMS）拼接产品中，从冰雹最大预期尺寸（MESH）场中识别出观测的冰雹。预测和观测到的风暴都进行了延续跟踪，然后根据时间和空间的接近来进行匹配。从每个预测风暴的范围内，提取描述风暴和环境变量的统计数据，并将其用作机器学习模型的输入。对一场观测到的冰雹用伽玛分布拟合MESH分布，伽马分布的参数被用作机器学习模型的目标标记。

　　该预测采用随机森林分类模型方法，根据观测到的风暴是否与给定的预报风暴以及冰雹发生时的冰雹大小分布参数相匹配，来预测冰雹是否会发生。随机森林回归模型同时估计了伽马分布的形状和尺度参数，以保持预测参数之间的相关性。逐网格的冰雹大小的预测是通过从预测的分布中取样冰雹大小，并将其在垂直累积霰场中排序来产生的。从网格中移除发生可能性小于50%的冰雹。基于机器学习的冰雹预报和其他风暴替代概率预测（包括HAILCAST、垂直累积霰和上升气流螺旋度）的验证结果和一个预测案例如图5所示。随机森林方法使用2014年5月至6月的CAPS的集合预测进行训练，并用2015年同一时期的CAPS集合预测进行评估。图5a中的性能图表明，对于给定的概率阈值，机器学习模型往往有更少的假警报、更低的频率偏差和更高的准确性。图5b中的属性图表明，机器学习模型和上升气流螺旋度的概率通常是可靠的，而其他方法则倾向于产生过于有信心的概率。图5c的案例研究表明，随机森林模型和上升气流螺旋度、HAILCAST方法相比，在捕获50毫米冰雹的区域时表现最佳。

4.降水分类

　　近地面气象现象识别计划（mPING）自2012年12月19日发起以来，已经收集了超过110万次观测数据。mPING计划收集的是通过智能手机应用（APP）匿名提交的“降水类型（ptype）”的众包观测数据，还有其他多种天气状况，如洪水、通视障碍、风害、冰雹和龙卷风。研究采用了每个NWP模式输出的湿球温度Tw廓线（从5000m高到地平面）的4种类型。类型1是湿球温度Tw都低于冰点（273.16K）；类型2有一个冻结高度，在其表面上的Tw高于冰点；类型3有3个冻结高度，其中有一个抬升的暖层，一个抬升的冷层，以及一个Tw高于冰点的高度；而类型4是“经典”的抬升的暖层剖面，Tw低于冰点。为每个廓线类型计算多个预测因子，包括每一层零上和零下面积，各种冻结高度的高度，冷层和暖层以及整个廓线垂直高度的风切变（纬向和经向（分别为u和v）），每一层相对湿度高于0.8和低于0.8以及平均相对湿度的面积，冷层的最小Tw。每个廓线类型都有不同的预测因子集合，有些预测因子在所有廓线类型中都是通用的。总的来说，类型1的廓线有28个预测因子，类型2的廓线有23个，类型3的廓线有49个，类型4的廓线有38个。

　　因为每个廓线类型都有不同的预测因子集，所以每个预测因子集都有自己的随机森林。训练数据由随机抽取的80%的数据组成，剩下的20%用于测试。为了减少测试数据与训练数据的交叉，我们抽出了几个小时而非整个观测。这样，训练廓线和测试廓线不会来自同一时次。这些数据是不平衡的，因为雪和雨比冰球和冻雨多。抽样权值和最大树大小通过试错法进行了调整，这样每一个随机森林生成的四个类的偏差就接近1。没有其他的调整。

　　应用随机森林的方法可以显著改善NWP模式对降水类型的预测。图6是一个快速更新（RAP）模型有明显改进的例子。其中随机森林算法的得分根据较少的案例（测试数据）得到，而快速更新模型的得分基于整个可用的数据集。结果显示，随机森林算法对雨和雪的预测没有多大改善余地，但对冻雨和冰丸的改善相当明显。此外，随机森林算法输出是无偏的，这不同于快速更新模型的后处理输出。随机森林算法还可以提供降水类型的概率信息，这可能对业务预报人员和维护基础设施系统的人员有用。显然，如果有足够的数据，预测降水类型的随机森林方法可以显著改善最棘手的冬季降水类型的预报。

5.可再生能源

　　对可再生能源的预测是高影响天气预报的另一个例子。该预测可以帮助人们使用清洁的、局地可用的、多变的可再生资源来替代化石燃料能源。因为风能、水和太阳能资源都是变化很快的，因此通过预测可以提前部署可再生能源和其他能源的混合使用，确保可靠、高效和经济的能源使用。公用事业公司需要各种尺度的预测，本研究介绍其中两个较短尺度的预测：未来3-6小时短临预报，以及提前一天的预测（可以延伸到72小时来覆盖周末）。要将可再生能源混合到电网中，以实时满足电力负荷，短临预报是非常必要的。提前一天的预测被用于计划单位分配和与其他公用事业公司的交易能源。最近的一些研究试图通过隐式和显式的方法来识别流型和预测太阳辐照度的变化。隐式方法采用回归树方法，采用嵌入的最近邻方案来预测确定性的辐照度和它的可变性。使用k均值聚类和训练人工神经网络对每个集群进行显式的流型识别，比在整个训练数据集上训练一个单一的人工神经网络有所改进。这些统计预测方法的表现优于“智能持久性”方法。与其他临近预报产品相比，在第一个小时中，统计预测方法的表现优于其他所有产品，如图7所示。

　　提前一天的预测方法采用AI模型对NWP模式进行后期处理，并面向观测进行校正。常用的后处理方法包括人工神经网络和混合优化方法。动态综合预测（DICast）系统首先应用动态模型输出统计方法，然后优化混合。该系统对风能和太阳能的预测至少提高了15%。

　　对于真正的决策支持，只有风速或总辐射率预测对公用事业公司和电网运营商是不够的，他们实际上需要功率预测。尽管风力涡轮机和太阳能电池板的制造商提供了平均功率曲线，但由于地形高程、湍流和其他因素的变化，它们并不能完美地代表一个地点产生的实际电力。因此，训练AI方法将风或总辐射率转化为电力，可以为特定的地点提供更好的电力预测，并且不会像采用太阳辐照的替代方法那样还需要详细元数据。国家大气研究中心（NCAR）成功地将cubist回归树方法应用于风能和太阳能预测。

　　AI方法现在已直接为世界各地的公用事业公司和电网运营商提供决策支持，并增加了可再生能源资源的部署。本节中描述的所有方法都已被公用事业公司业务应用。通过这种方式，提高可再生能源的使用率，可以提高能源安全，减少能源生产用水，降低二氧化碳和其他污染物的排放，从而为全球提供清洁的可持续能源。

6.航空湍流

　　尽管人类所关心的恶劣天气大多发生在地表附近，但远离地表的地方也可能同样危险。商业航空受到各种灾害性天气的影响，包括超低温液态水导致的机身结冰、冰水含量高区域的发动机熄火、冰雹、闪电和大气湍流。从运行的角度来看，湍流是最主要的航空危险源之一。在湍急的涡流中飞行会导致飞机从一边到另一边上下颠簸，使乘客和机组人员感到不舒服，有时会使人员受伤或飞机损坏。湍流是由低稳定性地区的风切变造成的，这可能是由于急流和锋面、地形波或对流引致的重力波断裂，或雷暴的上升气流和下沉气流造成的。由于湍流通常是一种小尺度的、随机的现象，因此很难预测，甚至临近预报也难以预报出来。此外，NWP模型一般不能够准确预测航空尺度的湍流，而其输出变量如次网格湍流动能（TKE）在预测飞机的湍流方面也没有什么技巧。

　　AI已成为观测、临近预报和预测航空湍流的关键工具。为了观测云层和风暴中的湍流，采用模糊逻辑算法对地面多普勒雷达波谱宽测量进行了仔细的质量控制，将其扩展并结合到湍流涡旋耗散率（EDR）的估计中。模糊逻辑是一种建立专家系统的工具，它模仿人的推理，平滑地结合各种依据来源形成最终评估。对于湍流检测算法，从雷达信号或其空间环境中提取的多个诊断量，分别在0和1之间对雷达频谱宽度污染的可能性进行评分，然后根据这些数据得到一个几何平均值以获得总体评价。根据雷达的距离，将频谱宽度扩展到湍流涡旋耗散率，并通过一个信任加权平均值来获得最终的湍流涡旋耗散率估计。

　　基于决策树的技术可以包含与湍流严重程度不成比例甚至单调的特征。Williams使用随机森林将NWP诊断和来自卫星和雷达产品的特征结合在一起，来做湍流的临近预报。预测因子包括NWP给出的湍流诊断量和热力学变量，如对流有效位能（CAPE）和对流抑制能量（CIN）；对相关反射率、回波顶部、闪电和云内湍流对象的距离；以及从雷达和卫星图像的不同半径的圆盘统计数据。几百个候选预测因子首先通过随机森林的变量重要性分析，然后通过向前和向后的选择，在独立的数据集上进行训练和评估，并保留产生最佳识别能力的预测变量。然后，对随机森林进行校准，以产生湍流涡旋耗散率或湍流概率，并在预定义网格的每一个点上运行产生的算法，生成适合飞行员、调度员或空中交通管制员使用的地图。虽然AI方法的好处对于融合多种数据源来说尤其明显，但是，表1显示，即使只有NWP模型数据被用作预测因子，逻辑回归、k近邻算法，特别是随机森林的技巧都超过了图形湍流制导算法。类似的方法也被用于预测对流。这种方法的缺点是需要大量的特征工程，即计算许多不同的特征，然后测试哪些是相关的。McGovern等在一定程度上减轻了这一要求，他们使用了一种模型来指导时空关系的随机森林，该模型识别了飞机位置和各种与风暴相关的物体之间可能的相关关系。在将来，在深度学习框架中运行的卷积神经网络可能会进一步减少对特征工程的需求。使用AI进行湍流预测将使飞行更安全、更舒适。

四、讨论

　　现代AI技术在高影响天气预报中的应用，提高了我们筛选大量数据的能力，从而可以对预报员和决策者做出准确及时的指导。AI技术建立在传统的方法，例如模型输出统计方法上，通过提供更灵活和强大的模型，能够识别大量建模和观测到的天气特征或导出量之间的复杂关系。此外，AI方法可以很容易地直接预测高影响天气的影响，如太阳能或风能等可变资源产生的电能在某一地区的能源消耗，或机场到达能力。

　　本文提出了一个有趣的问题，即自动化指导在预报中的作用。虽然我们已经证明了AI/数据科学技术可以用来显著提高各种高影响天气领域的预测，但这不仅仅是将这些技术引入业务的问题。预报员必须能够相信这些技术所产生的预测，正如在灾害天气试验台-概率灾害信息实验中已经证明的那样。

　　对于常规天气变量（如温度和降水）的预测，NWS目前使用的是一种“人工介入”的模式，预报员主观上混合并调整多种数据资源。在局地效应对预测影响更大的情况下，地方气象台的预报员经验为预测提供了有用价值。NWS的天气预报中心对整个美国的气温和降水做预报，现在预报员的预报能力要比降尺度的、订正后的气温和降水集合预报差得多。NWS对飓风轨迹的官方预测，也比加权集合预报表现更差。在不同的气象机构之间的预测和警告之间也存在空间不连续的问题。包括WeatherCompany公司在内的私营气象公司，在一个“无人化”的模式下运行。在此模式下，由用户根据需要来自动生成一种最佳的模型输出误差订正融合预报，而预报员只需要添加过滤器和限定词来解释观测到的短期偏差或数据质量问题。这种方法很容易规模化应用，只需要一个由气象学家组成的小团队来监督一个高度自动化系统即可。这种高度自动化的方法的缺点是，预报员可能会脱离预测过程，并且在自动化预报失败时很难采取适当的纠正措施。

　　通过研究在高影响天气情况下不同机器学习方法的误差特征，研究人员和预报员可以确定何时应该信任自动指导，何时需要斟酌。本文提出的方法能够将物理知识与自动化校正相结合，在信息过载的时代发挥关键作用。