将人工智能与地球系统科学相结合建立神经地球系统模式
发布日期 ：2023-05-11
► 李婧华 郑秋红 编译
几十年来，科学家们一直使用数学方程来描述地球物理和气候过程，并构建确定性的计算机模拟，以便对这些过程进行分析。直到近期，基于过程的模式一直被认为是不可替代的工具，帮助我们理解耦合地球系统中复杂的相互作用，并提供了唯一的工具来预测地球系统对人为气候变化的响应。
越来越多的过程不断加入，以及空间分辨率的不断提高，促进了综合地球系统模式（ESM）的发展，以分析和预测地球系统的状态。从 1990 年 IPCC 发布第一次评估报告到 2014 年的CMIP5 及相关的第五次评估报告，模式空间分辨率从 500 公里提高到 70 公里。CMIP 结果表明，过去 20 年，模式在再现地球系统关键特征方面的准确性大大提高。
随着新型人工智能（AI）工具的出现，ESM 可能会失去其根本的重要性，这一具有挑战性的想法在科学界引发了“淘金热”和谨慎的情绪。一方面，深度神经网络已经发展起来，补充并旨在比得上从数值天气预报到气候研究的各种应用中基于过程的模式的技巧。另一方面，大多数神经网络是在简化条件下为单一的应用而训练，缺乏真正的过程知识。尽管如此，日益增加的地球系统观测（ESO）数据流、不断增强的计算资源以及强大的人工智能工具的可用性和可及性——特别是机器学习（ML），促进了许多旨在解决当前 ESM 一直存在的缺陷的创新发展。
本文综述了基于过程的模式和人工智能在地球和气候研究中的现状、最新成果和公认的局限性。在此基础上，概述了即将到来的、意义深远的方法变革，即神经地球系统模式（NESYM），旨在将人工智能与地球系统模式进行深入和可解释的集成。本文讨论了这种方法面临的新挑战，并强调了相关团体之间新的跨学科合作的必要性。
地球系统模式（ESM）与地球系统观测（ESO）
对于地球系统的某些部分，原始物理动力方程能够明确的表示，例如描述大气和海洋流体动力学的 Navier-Stokes 方程（图 1）。在实践中，无法用数值解析所有相关尺度的动力学问题，必须进行近似计算。地球物理流体动力学的多尺度性质意味着次网格尺度过程与模式解析的大尺度过程相互作用。因此，次网格尺度过程的（随机）参数化是气候模式中一个非常重要的部分。
对于地球系统的其他部分，并不存在诸如 Navier-Stokes 方程的原始动力方程。一个典型的例子是生态系统和控制植被的生理过程，以及它们与大气、碳循环和其他地球化学循环的相互作用。对于这些情况，必须对潜在的关键过程进行参数化近似。
尽管 ESM 取得了巨大成功，但问题和不确定性依然存在：
1. 评价 ESM 的一个关键量是平衡气候敏感度，其定义为大气中 CO2瞬时加倍后，达到新平衡态时，全球平均气温的增加幅度。在目前的 ESM 中，平衡气候敏感度的范围仍然很大。从 CMIP5 到 CMIP6，可能的平衡气候敏感度范围已经从 2.1～4.7℃扩大到 1.8～5.6℃。减少这些不确定性，从而减少未来气候预估的不确定性，是开发 ESM 的关键挑战之一。
2. 理论分析和古气候数据都表明，地球系统的一些子系统可以突然改变它们的状态，以响应逐渐变化的强迫。人们担心目前的 ESM 无法预测未来的气候突变，因为不到两个世纪的仪器时代还没有经历过类似的转变，并且由于相关时间尺度的长度，采用此类事件的古气候数据进行模式验证仍然是不可能的。在广泛的研究中，CMIP5 模式的未来预估中发现了许多相对突变，但由于这些罕见、高风险事件的性质，ESM 预测它们的准确性仍有待检验。
3. 目前的ESM不适合评估CO2清除技术的功效或环境影响，而这些技术被认为是实现《巴黎协定》的关键减缓方案。此外，ESM 不能充分代表关键的环境过程，如碳循环、水和营养的可用性或土地利用与气候之间的相互作用。这可能会影响基于陆地的减缓方案的有效性，这些方案依赖于诸如采用碳捕获和储存的生物质能源或基于自然的气候解决方案的行动。
4. 时间序列编码的地球系统动力学具有典型的重尾分布特征。热浪和干旱等极端事件以及极端降水和洪水，总是会造成巨大的社会经济损失。随着人类活动对气候变化的持续影响，预计这些极端事件将变得更加严重，极端事件的归因成为地球系统科学面临的又一个突出挑战。尽管目前的 ESM 在预测气候量平均值方面很熟练，但在表示极端事件方面仍有改进的空间。
除了应对这些挑战的可能解决方案外，提高 ESM 总体准确性还有望通过将基于过程的数值模式与观测数据进行更加广泛和系统的集成来实现。当前 ESM 资料同化的主要问题是：（1）非线性动力学和非高斯误差分析与许多 ESM 分量的高维结合；（2）对耦合系统中不同时空尺度的控制过程选择适当的约束条件。
然而，现有的观测数据池在时间和空间上仍有很大的差距，由于数据分辨率不够，观测时间太短，以及深海等地球系统的大部分区域未被观测到，因此无法建立起一个由观测驱动的耦合地球系统的整体图景。这些复杂的特点结合起来，使得 ESO 对于人工智能的应用既具有挑战性又有吸引力。
从基于机器学习（ML）的数据探索到学习物理学
与其他研究领域相比，ML 在地球和气候科学中的应用仍处于起步阶段。目前 ML 应用大多是探索性研究，离实际应用还很远，但预计将对研究和超级计算行业产生深远的影响。一个重要的观察结果是，来自计算机视觉和自动图像分析的 ML 概念可以同构地转换到 ESO 图像和时间序列。早在上世纪 90 年代，就有开创性的研究表明，ML 可用于遥感数据分析、分类任务和参数反演，在 21 世纪初，ML 被用于进行气候模式模拟。然而，人工智能技术在地球和气候科学中的“寒武纪大爆发”在过去 5 年才刚开始，并将在未来几十年迅速发展。
ML 已被应用于各种时间和空间尺度，从短期区域天气预报到全球气候现象。在发展纯数据驱动的天气预报网络方面已经取得了相当大的进展，目的是探索基于过程的模式预报的替代方法，或模仿和加速天气预报系统中计算要求高的部分，如重力波拖曳参数化和云过程模拟。然而，目前由全球数据驱动的 ML 天气预报，其分辨率比最先进的基于过程的模式要低得多，而且缺乏可用的训练数据，这可能会阻碍缩小差距。然而，用于仿真和加速任务的 ML在这种情况下（图 1 黄色知识群）可以发挥更重要的作用，特别是在 E 级计算出现，相关的计算挑战和瓶颈得以解决时。ML 为提高自然灾害的可预测性这一迫切需求做出了贡献，例如，通过揭示全球极端降雨遥相关和改进 ENSO 的长期预测。基于 ML 的图像填充技术被用来重建缺失的气候信息，订正了以前的全球温度记录。此外，ML 被用于分析气候数据集，例如，从自然气候变率中提取特定的强迫信号，或预测聚类天气型态。在这些应用中，ML 作为高度专业化的工具，以自动的方式帮助发现和分类型态，这对于物理定律或参数化描述不佳的过程尤其有用（图 1 绿色知识群）。与基于协方差的空间分析相比，ML 方法的一个关键优势在于可以对非线性过程进行映射。但这种训练有素的神经网络缺乏实际的物理过程知识。因此，地球和气候科学中的 ML 研究，在方法开发和适用性方面与前面介绍的 ESM 有根本的不同。
ML 不仅用于物理过程不清楚的数据分析，并且是 ESM 的替代和方法学扩展，这一概念直到最近才开始成形。科学家们开始用 ML 方法学习地球和气候物理学，或至少要貌似有因果关系。ML 与基于过程的模式结合与以往的 ESO 数据探索有本质区别（图 1 蓝色知识群）。将 ML 从纯粹的以诊断驱动的使用，提升到对地球物理过程的预测，对于帮助研究气候变化和制定减缓策略也至关重要。
尽管一些训练有素的 ML 工具和简单的混合模型显示出了比传统的基于过程的模式更高的预测能力，但这只是涉及了新的可能性和新的科学挑战的表面。到目前为止，ML、ESM 和ESO 基本上是独立的工具。然而我们已经认识到，有物理知识基础的 ML 和模式-网络混合应用，通过填补那些靠纯基于过程的模式始终缺乏可靠性的领域，提供了巨大的益处。
基于过程的模式与人工智能的融合
将基于过程的模式与 ML 模型进行融合，这一想法并不新鲜，但是随着最近的进展，人们提升了对 ML 如何增强基于过程的模式的认识。长期目标是持续地将最新发现的 ML 优势整合到地球系统科学中（图 2）。为了便于比较，我们区分了弱耦合的 NESYM 混合模型（ESM或 AI 技术从各自的信息中受益）和强耦合的 NESYM 混合模型（完全耦合的模型-网络组合动态交换信息）。
弱耦合混合模型主要是为了解决前述的 ESM 局限性，特别是未解析和次网格尺度的过程（图 2 左分支）。使用高分辨率模式的模拟数据或相关 ESO 数据，神经网络经过仔细训练后，可以模拟这些过程。下一个方法学上的里程碑是将这种训练有素的神经网络集成到 ESM 中以供业务使用。初步测试表明，人工智能技术的选择（例如，神经网络与随机森林）似乎对学习参数化方案的实施至关重要。有学者提出了一些方法来稳定 ML 参数化，例如，通过在神经网络和特定网络结构中定制损失函数来增强物理一致性，或者通过优化高分辨率模式的训练数据。此外，还提出了一个 ESM 蓝图，在该蓝图中，可以通过在 ESM、观测和高分辨率模拟之间寻找统计测量的最优拟合来针对性地进行学习参数化。尽管这并不是严格的应用 ML，但该方法非常适合于探索适合于平滑气候解决方案的参数化，避免了基于集合卡尔曼滤波技术的问题。在这种背景下，不直接使用 ML，而是与数据同化系统结合，来进一步加强 ESM。例如，有学者研究了基于 ML 的卡尔曼滤波方案，将基于 ML 的大气强迫不确定性估计作为资料同化中的误差协方差信息，并提出了用于逼近后报的 ML，以及更深入的卡尔曼-网络混合模型。尽管将资料同化和 ML 方法结合具有潜力，但需要强调的是，当前许多资料同化的挑战也需要各自的 ML 方法来解决，如稳健量化模式和观测的不确定性，以及优化使用稀疏观测。
在第二类弱耦合模型中，模式和人工智能的任务转置，信息流从模式直接指向人工智能工具（图 2 右分支）。在这里，神经网络直接用模式状态变量、其轨迹或更抽象的信息进行训练，如季节性信号、年际周期或耦合机制（图 1 中知识群连接）。ML 应用的目标可能不仅是模式仿真，还包括反演非线性地球物理过程、学习地球物理因果关系或预测极端事件。除了这些推理和泛化任务之外，该子学科的一个关键问题是，神经网络是否能在物理一致性或预测能力方面超越所使用的基于过程的模式训练器。ESO 在这一情况下发挥着至关重要的作用，因为它们可以作为神经网络训练的额外训练约束，使网络建立独立的自评价措施。
要克服气候系统非平稳性所带来的总体限制，需要在强耦合混合模型方面进行更深入的全面整合，并考虑其他约束较少的训练技术，如无监督训练和生成式 AI 方法。强耦合混合模型的一个关键区别是，ML 部分可以通过持续的训练进一步改进。因此，信息的动态交换意味着 ML 部分不仅在弱混合中训练使用后被反复调用，而且可以在当前模型状态和新的可用观测数据等基础上进一步发展。此外，基于 ML 和数据驱动的物理方程发现，以及在气候模式背景下的神经偏微分方程的实现，已经向基于物理信息的人工智能迈出了第一步。
方法学融合过程的不断发展将使建立动态交换信息的神经网络、ESM 和 ESO 的混合系统成为可能。ESM 将使用监督和非监督神经网络的输出来优化其物理一致性，并反过来将改进的信息内容反馈给 ML 组件。ESO 构成了另一个核心要素，作为人工智能注入过程预测的约束基础。与生成网络的对抗性游戏或 ESM 中的耦合机制类似，强耦合 NESYM 混合系统也需要创新连接，来控制目前还无法实现的信息交换。由于弱和强混合模型的方法学范围太大，无法通过单一的总体定义来概括，我们制定了 NESYM 的关键特征和目标：
1. 混合系统可以重现和预测分布外的样本和极端事件
2. 尽管混合系统的单个部分存在潜在的缺陷，但混合系统能够执行遵守物理守恒定律的约束和一致性模拟
3. 混合系统包括自我验证和自我校正的综合适应措施
4. NESYM 允许可复制性和可解释性
在此背景下，大多数研究为 ML 实现了神经网络，但 NESYM 包含了所有有助于实现这些目标的 AI 技术。NESYM 的最终目标是帮助科学家改进目前地球物理过程的预测极限，并帮助了解地球在气候变化中易受影响的状态。因此，不仅 ESM 与 AI 的融合将是研究的重点，并且人工智能的可解释性和解决黑匣子问题也将是研究的重点。
窥视黑匣子
ML 结合了统计学、应用数学和计算机科学的方法，但它也有一些独有的困难。窥视黑匣子问题并解释 ML 方法的决策过程，即 XAI（explainable AI），对使用 ML 工具至关重要。在物理科学领域，由于缺乏可解释性，尤其是监督 ML，ML 的适应性受到限制。相比之下，除了 XAI，还需要有 IAI（interpretable AI），即从一开始就构建专门的可解释 ML 模型，而不是通过后处理诊断来解释 ML 预测。
在使用机器学习工具之前，确保机器“学习”的内容在物理上是可处理的或有因果关系的，而不是因为巧合，这一点很重要。因此，可解释性为用户提供了对 ML 输出的信任，提高了其透明度。这对于在气候科学的政策相关领域使用 ML 很关键，因为社会越来越清楚地认识到了解 AI 预测技能的来源至关重要。通过分析决策过程，气候科学家将能够更好地将物理知识纳入 ML 方法，最终使预测更有可信度。到目前为止，在地球科学的应用中，最不被重视的也许是利用 IAI 和 XAI 来发现新科学和协助理论进展。例如，当一个 ML 模型能够做出熟练的预测时，XAI 让我们可以问“它学到了什么?”这样，ML 模型就可以作为研究发现的工具。
最近，XAI 在气候、海洋和天气方面应用的能力得到了证明。开发 XAI 模型的工具被称为附加特征属性。例如，神经网络与分层关联传播的 XAI 归因方法相耦合，揭示了气候系统内的变化模式、跨时间尺度的可预测性来源和气候变化的指标。也有证据表明，XAI 方法可以用于根据观测评估气候模式、在特定预测任务中识别最重要的气候模式偏差。然而，这些方法还处于起步阶段，在应用上还有很大的进步空间，因此这些方法非常适合在物理科学中应用。但在上述背景下，需要强调 IAI 和 XAI 方法应该与适当的物理研究假设携手并进。同样，在这方面，我们再次强调将人工智能的最新方法与特定领域的物理理解和基于过程的模式的最新技术相结合的重要性。
鉴于可解释性对于提高 ML 泛化能力和科学发现的重要性，促进气候和人工智能科学家之间的合作，可以帮助开发适合该领域需求的方法。这不仅仅是一个有趣的练习——它对于正确使用 AI 开发 NESYM 至关重要。地球和气候科学家可以帮助制定一致的基准，以便在地球物理一致性方面对独立 ML 和混合系统进行评估。然而，需要人工智能界的帮助来解决最近突出的 ML 缺陷。例如，在混合模型中识别并避免简化学习，开发对抗示例和深度学习工件的 ESM 概念，以及开发适用于物理应用的附加特征属性工具。只有通过 ESM 和 AI 的共同努力和不断发展，才能出现 NESYM。
结束语
本文的观点不仅应被视为实现更好地了解地球现在和未来状态的科学途径的概要，还应被视为对最近人工智能界合作呼吁的回应。从目前人工智能在地球系统和气候科学中的应用可以看出，进一步挖掘人工智能在这一领域的全部潜力，以及探索其局限性都很重要。然而，这一研究方向是高风险的冒险，有许多潜在的陷阱和死胡同。在这一点上，还不能保证人工智能将成为克服地球和气候科学的重大挑战的关键，其中一些挑战在本文开头已经描述过。在现阶段，单靠人工智能来解决气候预测问题似乎不太可能。在未来几年，人工智能必然需要依据明确的、具有物理意义的研究假设，基于过程的模式的地球物理确定性，以及根据特定领域知识进行详细的人为评估。沿着这样的思路，我们相信，将人工智能应用于地球系统科学方面，实现超越目前宣传的持续进展是可能的。一旦我们找到了上述可预见的局限的解决方案，并能够构建可解释和地球物理一致的人工智能工具，下一个进步将更有可能实现。