人工智能在地球与环境科学中的应用前景
发布日期 ：2023-05-11
► 李婧华 张定媛 编译
由于数据可用性和计算能力的快速增长，地球和环境科学（以下统称为地球科学）将从不同应用科学领域利用快速发展的人工智能（AI）中受益。利用其他领域的算法——也就是所谓的元迁移学习——正在加速 AI 在环境数据和地球系统应用中的使用。在此，文章总结了数值天气预报科学（包括预报极端天气事件和利用卫星数据）最近取得重大进展的主要领域，提出了 AI 在未来地球科学应用中的潜在方向，并基于 2019 年 4 月在美国马里兰 College Park举行的首届 NOAA“利用 AI 进行卫星对地观测和数值天气预报”研讨会的介绍和讨论，扩展并更新了 Boukabara et al.（2019b）的观点，包括当前活动和预期未来趋势。虽然这篇综述兼会议总结的观点侧重于解决 NOAA 的任务，但科学具有广泛的相关性和应用。图 1 总结了一些 AI 技术及其相互关系。
NOAA 将 AI 确定为全面提升科学、服务和环境数据管理使命的战略机遇。特别是 2020年 2 月发布的 NOAA AI 战略（详见本刊 2020 年第 1 期），将 AI 确定为 NOAA 应对“大数据”挑战的有力方式，以收集、归档和利用现在和将来的巨大数据流，帮助 NOAA 实现其任务目标并提高其绩效。因此，NOAA 已经开始接触对天气和气候预测感兴趣的 AI 合作伙伴、专家和 AI 从业人员，其中许多人参加了 NOAA 第一次 AI 研讨会。本文总结了会议中集聚的关键思想、最新进展、主要挑战和可以最好地服务于 NOAA 任务的潜在应用。本文大致遵循研讨会的结构，总结了会议概述，描述当前和计划使用 AI 进行卫星对地观测和数值天气预报（NWP）的活动，包括 NOAA 及其来自学术界的合作伙伴（如 NCAR）、私营部门（如谷歌、NVIDIA、IBM）和国际合作者（如 ECMWF）的贡献。之后将讨论 AI 和传统/基于物理的方法之间的相似性。随后章节将展示 AI 在“价值链”每个步骤中的相关性，这一“价值链”利用了从数据融合到决策的观测数据（图 2）。
AI 用于卫星对地观测和 NWP 的动机
NWP 面临的两个主要挑战是：1）利用从卫星和其他来源收集的不断增加的环境数据；2）满足社会对预测的日益依赖，并不断提高预测准确性和可靠性。这反过来意味着需要提高基础数值预报模式的时间和空间分辨率。Boukabara et al.（2019a）指出 AI 在天气预测方面的潜力日益增长。AI 在气象和海洋学不同领域的应用已经取得了重大的研究进展（Haupt et al. 2008; Hsieh 2009; Krasnopolsky 2013），从遥感（Ball et al. 2017）到恶劣天气预测（McGovern et al. 2017,附图 1）。然而，为目前业务上利用环境卫星数据或提升业务活动，如 NWP、资料同化、临近预报、预报和极端天气预测等而开发的 AI 应用要少得多。AI 正在被越来越多地考虑在这些应用中，并取得了很好的结果。然而，正如“AI 和传统/基于物理的方法之间的相似性”一节所述，NWP 通常使用的反演方法，特别是在资料同化领域所使用的方法，已经与机器学习（ML）有许多相似之处。增加的数据来自更高分辨率的卫星和传感器、越来越多的新传感器（传统卫星以及小卫星和立方体卫星；Stephens et al. 2020，附图 2），以及大量得益于物联网（IoT；例如，Madaus and Mass 2017）和无人系统的新观测系统。这些数据源有助于提供更准确和详细的预报，但对这些数据的利用预计将成为未来计算基础设施的主要挑战，尤其是在数据传输和存储领域。AI 可以提供部分解决方案，例如在“AI 在环境数值模式中的活动亮点”章节的“快速和准确的 ML 模式物理”小节中描述的。在这种情况下，尽管 ML 训练需要大量的计算，但与在运行 NWP 模式中实施 ML 模型得到的提速相比，这些成本是微不足道的。
值得注意的是，在不久的将来，即将到来的超大规模计算能力，无疑会提升以更高分辨率运行 NWP 模式和同化更多数据的能力，这将以高昂的能源消耗为代价（并受到限制），并有可能对环境造成不利影响。因此，作为地球科学家团体，我们必须研究创新的软件解决方案，并与硬件改进相结合。根据 Hall（2019），需要有效地使用图形处理单元（GPU），以跟上摩尔定律，并使 NWP 模式在现代超级计算机上以更快和更高的分辨率运行。在这方面，Williams（2019）讨论了 IBM 和 NCAR 之间的合作，利用 GPU 加速了公共跨尺度预测模式（MPAS），为全球、每小时更新、解析对流的 NWP 铺平了道路。
人员、培训、协作和拓展
一个多样化的专家群体参加了 NOAA AI 研讨会，代表了 AI 方面的广泛经验（参见表 1中参会人员的所属机构）。对许多人来说，在地球科学中使用 AI 是件新鲜事，但在该领域已经形成了一群专业核心研究团队。其中一名研究人员（P. Tissot）进行的一项非正式调查显示，虽然大约 50%的人是在过去两年内才开始接触 AI，但大约 1/3 的听众已经在地球科学中使用AI 超过 10 年了。许多项目专注于利用 AI 为 NOAA 任务提升效率和技能，一些项目已被纳入NOAA 系统（例如，Krasnopolsky et al. 1999）。还有一些项目已经由私营部门实施，从而证明了它们的可行性。
NOAA AI 战略强调伙伴关系、拓展和人员培训，这是 AI 快速发展的基本途径。由于这些原因，研讨会包括三个指导课程、一个参与者实时调查和两个互动小组。课程提供了实际的 AI 工具、技术和编码脚本的培训。题为“科学家和工程师如何利用 AI 技术来改进工作”以及“我们从这里走向何方”的小组讨论，以及调查结果在“AI 对地球观测和 NWP 的潜在好处的新兴趋势”和“主要结论和相关挑战”一节中进行了总结，相关概念纳入了文本的其余部分。
AI 在卫星对地观测和 NWP
在政府、学术界和私营部门，AI 应用于地球科学有着丰富多样的历史。AMS AI 委员会1在气象领域开展 AI 工作已有超过 25 年的历史。在 AMS 会议上，特别是过去 5 年，AI 在气象应用方面取得了巨大进展（Tissot 2019，附图 3）。NOAA 已经将 AI 用于各种地球观测和卫星应用，包括使用神经网络进行 NWP 模式参数化（Krasnopolsky et al. 2010）和使用深度学习推算缺失数据（Boukabara et al. 2019a，附图 4）。NCAR 在开发 AI 技术用于气象应用方面有着悠久的历史。Haupt et al.（2019）强调了动态综合预报（DICast）系统，这是 NCAR 20年的努力成果，成为许多应用的“天气引擎”，最近 NCAR 利用 ML 改进了野火预测。IBM旗下的天气公司（The Weather Company, TWC/IBM），多年来一直采用多种方式利用 AI 技术，从改进观测到为终端用户创建个性化预报（Williams et al. 2016; Williams 2019）。Geer（2019）总结了 ECMWF 探索的 AI 在 NWP 中的机会。其中包括用 ML 模式代替数值模式参数化，以及使用 AI 进行数据监测和增强资料同化。Hall（2019）展示了在太阳黑子检测、热带气旋等大尺度天气现象的自动检测和参数化等应用中使用 AI 的例子。谷歌的 Alphabet AI 最近增加了对天气 AI（Hickey 2019）的关注，并致力于向公众和研究人员提供大型地球科学数据集。
AI 与传统/基于物理的方法的相似性
人工智能分支学科（如深度学习）使用的数学方法与资料同化（DA）、统计建模和数据融合方法密切相关，这些方法已经被预报员和地球科学研究人员使用。这些方法的共同基础基本上是基于最优估计理论（Geer 2019, 2021）。例如，Hsieh and Tang（1998）显示了神经网络（NN）和变分 DA 之间的相似性。然而，目前这些技术的应用方式存在差异。DA 的一个关键特征是承认动力学的存在，通常是通过使用数值模式并循环遵循由稀疏和不确定的观测所获得的“真实状态”来实现。DA 的首要目标就是估计这种真实状态。相比之下，ML 通常使用一组固定的输入和输出集来训练模型。然而，最近一些物理学 ML 方法已经使用动力学作为约束（例如，Beucler et al. 2019; Jiang et al. 2020）。ML 中的输入-输出数据对（通常称为“特征”和“标签”）类似于资料同化中的背景场和观测场。ML 方法通常忽略输入和输出误差，目的是学习模型的参数。相反，当使用资料同化进行天气预报时，模式误差在实践中通常被忽略（除了一些重要的例外情况；例如，Fisher et al. 2005; Lindskog et al. 2009; Ngodock et al. 2017），而输入（背景场）和输出（观测场）中的误差被仔细估计。这种差异反映了采用这些方法所解决的问题具有不同性质。
表 2 强调了了 ML 和 DA 之间的许多相似之处。两者通常都是基于模式和观测数据之间的不匹配来优化代价函数。正则化是高维非线性优化的重要组成部分。正则化是增加信息的过程，以解决不适定问题和防止过拟合。与一般的非线性优化相同，ML 和 DA 都经常通过损失/代价函数中的一个项来应用正则化。集合平均是另一个工具。资料同化还经常使用短期预报的集合，来估计随时间变化的“日误差”——通过背景误差协方差矩阵将这些信息纳入动态加权正则项。此外，ML 和 DA 都试图通过对一个模型进行多次平均来减少解决方案中的模型偏差和变率（在 DA 中称为多模式集合）。通常使用梯度下降法来寻找最精确的模型或状态。例如，为了估计梯度，反向传播技术（用于 NN）和伴随方法（用于 4D-Var；Bannister 2017）都采用相反的方向应用链式法则，从代价函数开始，分别以代价函数对网络权重或状态空间变量的线性敏感性结束。
DA 方法不局限于估计状态，也可以同时估计模型的参数。这些技术，包括参数估计和弱约束 DA，都与 ML 有非常密切的联系。Abarbanel et al.（2018）展示了深度学习和 DA 在模型参数估计方面的数学等价性，并进一步扩展了这种联系，定义了“最深学习”的概念。Bocquet et al.（2019）使用 DA 本身作为一种 ML 工具，从观测中推断模式动力学的常微分方程（ODE）表示。
从另一个方向来看，ML 可以变得更接近于典型 DA。ML 优化可能局限于最初的训练阶段，或者随着新的特征和标签被添加到训练集中，它可以随时间逐步应用。Pathak et al.（2018a）演示了循环神经网络，其中一个训练周期的输出被用作下一个训练周期的输入，这与典型 DA中使用的循环非常接近。Bocquet et al.（2019）强调了 NN 的残差深度学习架构可以大致解释为动态系统的概念（例如，Weinan 2017;Chang et al. 2018），Wang and Lin（1998）和 Fablet et al.（2018）表明，NN 架构可以遵循集成方案的架构。
DA 和 ML 有各自独特的优势，这意味着可能会产生协同效应。Hsieh and Tang（1998）提出了新的混合神经-动力模型的潜力。最近，Pathak et al.（2018b）探索了创建混合“数据辅助”动态模型的可能性，以纠正动态模型中可能存在的系统误差。Brajard et al.（2020）提出了 ML和 DA 的交替策略，利用 DA 估计场来补充稀疏的观测数据，从而为训练 ML 方法提供了一种全场估计。Bocquet et al.（2020）从贝叶斯角度，使用期望最大化和坐标下降法统一了 DA 和ML 方法，这样可以同时估计状态轨迹和模型误差统计。
综上所述，人工智能和基于最优估计的传统方法在数学上有许多相似之处。主要的区别在于，DA 核心是常规循环优化过程，而在训练 ML 模型时通常不使用这种方法。
AI 在卫星对地观测和遥感中的亮点工作
AI 应用于遥感卫星数据的活动，包括从合成孔径雷达（SAR）图像检测洪水和冰（例如，Wang et al. 2017，附图 5），从卫星微波图像估计热带气旋强度（（Wimmers et al. 2019），以及使用 AI 进行卫星数据校准、偏差校正以及大气和地表参数的遥感（（Wimmers et al. 2019）等。在一些应用中，为人工智能准备数据（例如，标记）是一个值得注意的挑战。这一重要但经常被忽视的步骤最近引起了一些关注（例如，Bonfanti et al. 2018; Lee et al. 2019; Prabhat et al. 2020），应该成为预测中心未来的工作重点。这不仅将为人工智能提供更容易获得的数据集，原则上也允许以更有创造性的方式利用卫星数据。
人工智能生成的产品与传统物理方法生成的产品具有相似的特征（即精度、与观测的不匹配程度、空间特征一致性和参数间相关性）。例如，Boukabara et al.（2019a）表明，通过人工智能从微波亮度温度反演的总可降水量（TPW）捕获了 NWP 分析的所有主要特征。许多人工智能方法最显著的优势是效率。例如，处理一整天的先进技术微波探测仪（ATMS）数据，传统基于迭代的系统需要大约 2 小时，而多仪器反演和资料同化预处理系统-AI（MIIDAPS-AI）方法（不包括 I/O 和训练时间）只需要 5 s 的 CPU 时间。
AI 在资料同化中的亮点工作
AI 有可能使 DA 在分析-预测周期的所有阶段受益。典型的 DA 周期过程包括：用大尺度非线性数值模式生成预报、对大量观测数据进行预处理、对观测数据进行优选或聚合、校正观测数据中的系统偏差、计算状态的线性近似以供最小化算法使用、结合预测和观测进行统计分析，重新平衡分析以确保预报模式数值时间积分稳定，并纠正预报中的系统偏差。
ML 在 DA 周期内广泛认可的应用是替换观测算子。Verrelst et al.（2015）和 Rivera et al.（2015）利用 ML 估计正演模型（即辐射传输观测算子）。这些 ML模型提供了更高的计算效率，同时保持了外推的准确性和灵活性。此外，当正演模型的物理方程未知或难以实现时，可以使用观测数据和DA 分析训练 ML 观测算子。一个例子是在土壤湿度与海洋盐度（SMOS）卫星辐射和直接从 NWP
分析中获得的土壤湿度之间训练NN 反演（Rodríguez-Fernández et al. 2019，附图 6）。这些反演结果随后被成功地同化，这种方法在训练中不需要单独的土壤水分观测，而且它自动纠正了辐射和 NWP 系统之间的任何偏差。
Cintra and de Campos Velho（2018）在 SPEEDY 大气模式中应用局地集合变换卡尔曼滤波（LETKF；Hunt et al. 2007）的多层感知器（MLP）模型，演示了整个 DA 分析的模拟。MLP和 LETKF 分析结果非常相似，例如，地面气压差在±5 hpa 范围内。然而，计算成本显著降低，因此这种方法为再分析等应用带来益处，因为再分析中 DA 要计算很多次，而且业务预报通常在有限的计算资源上严格安排。
AI 在环境数值模式中的亮点工作
针对数值模式的 AI 应用侧重于增强数值模式，比如通过取代次网格尺度参数化，或者完全取代数值模式。在某些情况下，数值模式可能是训练 ML 模型的重要组成部分，而在其他情况下，ML 模型可能仅由观测数据驱动。
快速和准确的 ML 模型物理过程。处理模式物理过程的应用包括三种不同但密切相关的类型。第一种是对现有模式参数化的快速模拟或“代理模型”，它应用了一种模拟技术，快速计算先前开发的基于底层物理过程近似描述的参数化方案（例如，辐射参数化；Krasnopolsky et al. 2010）。第二种是增强参数化，在底层物理过程非常复杂且不甚了解的情况下，基于高分辨率模式模拟的数据（例如，Krasnopolsky et al. 2013；Brenowitz and Bretherton 2018）。第三种情况涉及数据驱动的参数化，是基于观测数据的新的经验参数化方案（例如，Haupt et al. 2019）。ML 工具的巨大灵活性可将这三种方法进行组合，也可以被用来在部分物理框架内加速计算（例如，Chevallier et al. 2000）。
快速模拟现有参数化方案。ML 以相对较小的逼近误差，可用于提供模式参数化的函数逼近，（Chevallier et al. 1998；Veerman et al. 2020）。如果有足够的训练数据，可以在训练集域内产生一个相对平滑的插值。当开发 ML 模拟时，除了近似误差小的标准外，还有几个必须满足的标准（Krasnopolsky 2013），其中最重要的是在主机 NWP 模式中实现高性能。
现有模式物理参数化的快速模拟通常是针对复杂参数化的计算瓶颈而开发的，如大气辐射参数化和行星边界层（例如，Wang et al. 2019）。Krasnopolsky（2019）证明，使用 O（100）个神经元的浅层神经网络模拟器，对变化的单个瞬时剖面可以获得 0.1 K/天的 RMS 精度。即使在中等分辨率的气候模式中，计算大气辐射也会消耗 50%以上的计算负荷。用 ML 模拟大气辐射参数化可以加快长波辐射计算约 16 倍、加快短波辐射约 60 倍（Krasnopolsky 2019）。
训练先进模式来增强参数化。ML 技术不仅可以用来模拟现有的物理参数化，而且可以改进这些次网格尺度过程的表征。由于大气环流模式（AGCM）参数化物理过程中的近似，模式不能准确模拟许多重要的精细尺度过程，如云量和对流降水（例如，Rasch et al. 2000; Brenowitz and Bretherton 2018; Rasp et al. 2018; Chen et al. 2019）。云分辨模式（CRM）可以表征许多较低分辨率的全球和区域模式所无法表征的现象（即支持上升气流和下沉气流的较高分辨率流体公里学运动、对流组织、中尺度环流、层状和对流组分及其相互作用）。在这种情况下，目的是通过对 CRM 数据进行训练，使用 ML 来开发参数化，从而使低分辨率模式能够模拟 CRM 行为，同时维持低的计算成本。得到的模拟结果可以作为 AGCM 中增强的、计算上可行的参数化方案（Krasnopolsky et al. 2013; Schneider et al. 2017; Brenowitz and Bretherton 2018; Gentine et al. 2018; O’Gorman and Dwyer 2018; Bretherton et al. 2019; Brenowitz and Bretherton 2019a,b; Pal et al. 2019; Yuval and O’Gorman 2020）。
训练观测数据，实现数据驱动参数化。在许多情况下，如 Monin-Obukhov 相似理论（MOST；Monin and Obukhov 1954），模式参数化的原始理论公式基于实测数据。传统的近地层方案以MOST 为基础，根据风速、空气和地面温度以及空气和地面比湿度之间的物理关系预测温度、动量和湿度的地面通量（Jiménez et al. 2012）。这些关系中的经验系数传统上是由实验结果得出的；然而，不同的外场项目所确定的经验系数存在显著差异。参数化也可以直接从观测数据中建立。例如，NCAR 研究人员正在使用来自野外站点的数据，利用神经网络和随机森林建立新的陆地近地层模式（Haupt et al. 2019; Gagne et al. 2019a）。边界层模拟的一个棘手问题是，由于大气和近地边界层紧密耦合，一些 NWP 模式需要将其合并到隐式求解器中。
ML 预测模型。最近的一些研究采取了更极端的方法，用基于 ML 的替代方法完全取代动力学模式。Scher（2018）使用深度学习神经网络模拟了低分辨率 AGCM 动力学，该神经网络可以提前几个时间步长预测完整的模式场，通过循环可以产生与 AGCM 相似的气候场，而无需施加约束属性。Dueben and Bauer（2018）使用一个用于全球天气预测的研究模式来确定基于神经网络的预测系统的挑战和基本设计选择。James et al.（2018）和 O’Donncha et al.（2018）应用 ML 模拟了数值波模式，与源数值模式相比，速度显著提高了约 1000 倍。Weyn et al.（2019, 2020）将卷积神经网络结构应用于大气再分析场的立方体球体表示，提前数周甚至更长时间内生成了真实的天气预报。Keller and Evans（2019a,b）在大气化学传输模式中用 ML（随机森林回归）代替气相化学，通过预测长寿命气体的浓度变化和短寿命气体在时间步长结束时的浓度，表明得到了最佳结果。其他密切相关研究已经使用“相似”方法来建立数值模型的统计表示，可以取样进行新的预报或预报分布（Hamill and Whitaker 2006; Delle Monache et al. 2013）。
AI 监测和预测极端天气的亮点工作
极端天气事件会对生命和财产造成严重影响。从龙卷风和闪电活动的临近预报（提前 2小时预报），到热浪和长时间降水等长期事件的预测，准确预测极端事件发生可能性有助于减轻其损害。从更传统的线性回归到随机森林和现代神经网络方法的多种技术已被证明可以提高现有的预报和预测极端天气的性能。Stevenson et al.（2019）对国家飓风中心（NHC）在 20世纪 50 年代如何使用统计技术进行了历史回顾。从那时起，人工智能技术，如回归、随机森林和神经网络，改进了多模式集合的概率风险指导和对快速增强的预测。Eslami et al.（2019）（附图 7）继续这一研究，使用深度学习集合方法和回归深度卷积神经网络来预测飓风强度，其表现优于单个集合成员，也优于现有的 NHC 预测。McGovern（2019）和 Lagerquist et al.（2020）（附图 8）表明，ML 可用来改进极端天气预报，包括提前 24～48 小时预报冰雹，以及对龙卷风的临近预报。Lakshmanan et al.（2019）使用全球闪电成像仪（GLM）数据开发了一个基于 ML 的临近预报应用。Sønderby et al.（2020）使用 NN 来外推雷达和卫星数据，以生成数小时的概率降水图。其他关于极端天气的研究集中在较长期的预测范围内。Fan et al.（2019）应用基于神经网络的集合平均方法，改进了 NOAA 气候预报系统（CFS）生成的第 3～4 周降水和 2 m 气温的预报。在这项工作中，神经网络纠正了模式输出中的错误形势，与多元线性回归相比，其预报技巧几乎翻番。虽然这些研究并非该领域的完整总结，但仍强调了正在进行的努力和未来发展的机会。
预报后处理
20 世纪 70 年代，统计学家认识到对 NWP 预报进行后处理的价值，并开发了模式输出统计（MOS）技术（Glahn and Lowry 1972）。作为传统 MOS 技术的延伸，人们发现人工智能在模式后处理方面相当有效。NCAR 在 20 世纪 90 年代末开始实施 DICast 系统来校正和融合多个 NWP 模式预报（Myers et al. 2011），并在随后的十年中将其转变为格点系统（Haupt et al. 2019）。从那时起，为模式后处理开发了大量技术。与天气形势有关的后处理对于改进预报也变得越来越重要。Greybush et al.（2008）表明，使用经验正交函数可以改进温度预报。McCandless et al.（2016）展示了使用天气形势来进行太阳能预报。
科学家已经开发了人工智能方法，替代基于数值模式输出的概率预报。一个例子是相似集合（AnEn）技术（Eckel and Delle Monache 2016），该方法检查了历史预报库，以确定那些最符合当前条件的情况。结合验证观测，提供了一个经验概率密度函数（pdf），可以用来量化预报不确定性。该 pdf 平均值也有助于减少确定性预报中的偏差（Delle Monache et al. 2013）。这项工作利用单一确定性模式集合来产生校准的概率信息。Hamill and Whitaker（2006）和Hamill et al.（2015）使用了类似的相似方法来校准降水预报集合。
Campos et al.（2018, 2019）对海浪预报进行了基于神经网络的偏差校正，结果显示出显著的提升，特别是在误差开始非线性增长的时间范围内（例如超过 5～7 天）。这种预报偏差校正，应用在较短时间尺度上具有较大非线性误差增长的预报模式中，有可能被集合到 DA 分析周期的预报成分中。Bolton and Zanna（2019）在一项模拟研究中将深度学习结合观测和模式数据来预测未解析的过程和流场。
TWC/IBM 开发人工智能方法，创建气象变量的概率预报和同等可能情景的校准集合，以支持各行业的决策服务（Williams 2019）。一些例子包括电力公司动员工作人员为可能发生的停电做好准备，能源交易商预计出现的需求波动。ML 用于对 NWP 输出进行后处理，以预测严重灾害事件，如冰雹（Gagne et al. 2017）和龙卷风（McGovern et al. 2017）。Haupt et al.（2019）和 Gagne（2019）表明将卷积神经网络应用于 NWP 数据，不仅可以识别最有可能发生严重冰雹的风暴，还可以识别这些风暴的特征（Gagne et al. 2019b）。此外，国家飓风中心（NHC）还对模式输出采用了多种 ML 方法，以改进飓风强度预报（Stevenson et al. 2019）。
AI 新趋势及其对地球观测和 NWP 的潜在益处
物理科学家经常把 AI 方法视为一个“黑匣子”，它对系统的实际属性几乎没有什么认识。在业务预报环境中采用 AI 方法之前，需要对这些方法的行为有更深入的了解。目前正在努力开发可解释 AI（McGovern et al. 2019; Samek et al. 2017; Toms et al. 2020）和物理机制约束 ML（Ding 2018; Karpatne et al. 2018）。McGovern et al.（2019）和 Toms et al.（2020）展示了从传统 ML（包括决策树和回归）到深度学习的各种 AI 解释方法。Ghahramani（2015）指出，ML必须能够表示和处理模型和预测的不确定性。概率模型和推理（Pearl 1988）能有效地训练包含不确定性估计/量化的模型。可解释 AI 还处于起步阶段，特别是在地球科学领域。随着 AI方法的不断普及，它将成为一个重要的新兴领域。
在 AI 中加入物理约束有可能改进 AI 驱动模型的物理一致性、性能、可解释性和透明度。这一领域的研究非常活跃，包括与可解释 AI 的许多联系。von Rueden et al.（2019）综述了数据和知识结合到 ML 中的不同方法，而 Roscher et al.（2020）则调查了这些概念如何在科学中应用。通过特征、预测器、激活函数和拓扑结构的选择，物理洞察力通常包括在 ML 模型的设计中。科学家展开新的努力，探索将已知物理约束作为作为 AI 模型一部分进行明确的规范，通过整合物理模型的输出，或通过在训练期间包括明确的物理约束，如通过损失函数中的惩罚项。当应用于湖泊温度廓线的预测时，这些约束条件的实施带来了更好的通用性和具有物理意义的见解（Karpatne et al. 2018）。为了执行守恒定律，ML 训练还可以包括测量不符合守恒定律的函数，这些函数可以是在最小化过程中使用拉格朗日乘子方法作为强约束，也可以是包含在总体代价函数中的弱约束（例如，Tompson et al. 2017）。
其他相关方法包括物理信息生成对抗网络（PI-GAN;Wu et al. 2020）。PI-GAN 可以通过从预先计算的训练数据中，学习统计数据来解释未解决的物理问题，例如，通过确保生成样本的气候协方差与训练数据集的气候协方差相匹配。这为闭包或参数化（如湍流）的显式开发提供了一种替代方法。加入物理元素可以减少对大数据集的需求（例如，Yang et al. 2020）
主要结论和确定的挑战
我们的目标包括：1）审查人工智能技术和工具；2）审查更好地利用当前和未来地球观测数据的科学目标；3）研究如何提高 NWP 技巧和环境数据处理效率；4）确定利用卫星数据和其他环境数据创造新产品和服务的创新方法。总体目标是收集信息，帮助制定 NOAA 人工智能战略，并建立路线图，在 NOAA 地球科学职能中充分利用人工智能。人工智能对业务预报系统的益处有时通过补充形式（例如，通过校正热带气旋预报），有时则是对传统系统的完全替代（例如，用于遥感的图像校正和正问题模拟）。由于 ML 在模拟非线性关系方面特别有效，因此有可能模仿或替代 NWP 参数化，如辐射和积云对流。人工智能还具有改进长期数据管理的潜力，例如通过使用自然语言处理进行数据抢救和挖掘元数据，使数据更加可用和可发现。
虽然一些技术专家认为，人工智能将在其他行业从工作场所的角色到组织结构中产生颠覆性影响（Bloomberg 2018），但对研讨会参与者的调查显示，AI 将在很大程度上补充现有工具（图 3）。一个 AI 专家小组表达了关切，由于人工智能工具正变得更容易使用，如果人工智能的应用管理不善，NWP 社区可能会对人工智能失去信任。该小组认为，缺乏跨部门的正式伙伴关系和指导机制构成了一个挑战，鼓励 NOAA 扩大使用合作研究和开发协议（CRADA），该协议允许政府机构与私人公司或大学合作，并考虑创新机制来改进合作，如奖励挑战。该小组指出，NOAA 的许多数据是高度结构化的，是人工智能应用的理想选择。如果在云沙箱中提供更多 NOAA 的数据，如果这些数据在适当的时候被标记，如果领域科学家能够解释数据中的细微差别，那么整个 AI 社区的其他人就可以更容易地为解决 NOAA 的挑战做出贡献。最后，小组讨论了采用全系统方法开发人工智能的必要性，以便人工智能的预期进展将为NOAA 未来在相关领域的需求提供信息，如资料同化、参数化开发和计算，从而促进未来预测和后处理系统的发展，这些系统将结合人工智能和传统物理方法，利用它们的相对优势。
更多地采用人工智能还存在一些挑战。在训练集和 HPC 方面，训练多变量问题的需求是巨大的。由于深度学习模型在超出训练集所覆盖的领域时是不可靠的，或者如果数据集由于不断变化的条件（如气候变化引起的条件）是非稳态的，训练集应该具有代表性和全面性。最快的进展预计将涉及研究较小的子问题或估计现有常规应用的修正。从研究到运营的转变是一个关键步骤，但对人工智能技术的信任是一个障碍。在天气、水和气候研究队伍中存在着与 AI 相关的认识差距，这导致缺失信任的原因。如果科学家和预报员不了解一项技术，他就不太可能信任它，因此也就不太可能使用它。同时，GPU 和新的软件工具（例如 TensorFlow和 PyTorch）的可用性不断增加，利用 GPU 使地球科学研究人员更容易获得高效和可扩展的ML，但人们对 Python 语言在高性能计算和业务使用中的接受度和实施情况，或变换方法的可用性和/或新软件工具对 FORTRAN 的兼容性产生了担忧[参阅 Ott et al.（2020）在该领域的最新工作]。
尽管将人工智能应用于地球科学面临挑战，但我们预计人工智能在环境数据和预报方面的应用将大幅度扩大。同时提高预测技巧（通过考虑未知或难以模拟的现象）和提高效率（因此降低成本和满足延迟需求）的驱动力，将继续使人工智能对 NOAA 等业务中心具有吸引力。美国政府推广人工智能，以帮助经济和社会的各种应用，将是在地球科学中越来越多地使用AI 的一个主要战略驱动因素。