大模型训练动力学的李雅普诺夫稳定性理论 2026：从梯度流收敛到损失景观的拓扑分析

摘要：把大模型训练动力学重新表述为损失景观上的梯度流，并借助李雅普诺夫函数给出"收敛"的形式化定义，是把深度学习从经验工程推向理论可解释的一步关键跨越。本文以李雅普诺夫稳定性为骨架，把鞍点逃逸、Mode Connectivity、NTK 线性化、损失景观 Euler 特征等已有研究重新组织成一套统一的稳定性语言，并给出对工程实践的可执行推论。

一、问题的提出：SGD 训练的"收敛"到底意味着什么

今天几乎所有大模型训练流水线都报告 loss 曲线作为收敛判据：训练日志显示 loss 从 2.7 降到 1.2，工程团队便认为模型"收敛了"。但这个判断包含两个隐含假设——其一是 loss 数值本身的绝对含义（2.7 是什么？1.2 又是什么？），其二是 loss 单调下降等价于模型进入期望状态。这两个假设在大模型时代都开始动摇：loss 持续下降但模型在某个能力维度上发生退化（Grokking 现象，[565] 中已涉及相变视角）、训练 loss 接近 0 但下游任务指标在过参数化区间震荡（double descent）、分布式训练中各 rank 看到的 loss 曲线几乎一致但模型权重分布显示已进入不同模态盆地。这迫使我们重新提问：大模型训练的"收敛"到底是一个工程口号，还是一个数学对象？

本文主张：应当把"收敛"重新定义为损失景观上梯度流关于某个李雅普诺夫函数的稳定性。这一姿态不是对现有训练的颠覆，而是提供一种可操作的诊断语言——任何声称"收敛"的工作都可以被翻译成"存在李雅普诺夫函数 L 满足沿梯度流非增且在期望集合外严格递减"的命题；任何"训练稳定"的现象都可以被翻译成"梯度流在 L 的次水平集内运行"。

我们使用 2026 年中文文献中对"大模型研究"tag 的常见视角（信息论、相变、几何），但选择"动力系统稳定性"作为新的统一角度，这是因为稳定性视角能同时容纳景观几何（§3）、NTK 线性化（§4）、李雅普诺夫函数构造（§5）、拓扑不变量（§6）这四条已有线索，并把它们组织为一个"对工程实践可执行"的操作框架（§7）。本文所有理论结论都附带"在生产训练中如何被观测/验证"的注释，避免理论文章沦为纯数学随笔。

二、形式化：损失景观、李雅普诺夫函数、梯度流

设参数空间 $\Theta \subseteq \mathbb{R}^d$（$d$ 可达 $10^{11}$ 量级），损失函数 $\mathcal{L}: \Theta \to \mathbb{R}_{\geq 0}$。训练目标为寻找 $\theta^\star \in \arg\min_\theta \mathcal{L}(\theta)$。本文采用的"梯度流"是连续时间理想化：

$\dot{\theta}(t) = -\nabla \mathcal{L}(\theta(t))$

离散 SGD 是该流的 Euler 离散（步长 $\eta$），Adam/AdamW 是带预处理的近似。关键对象是景观 $\mathcal{L}$ 的几何——critical point 集合 $\text{Crit}(\mathcal{L}) = \{\theta : \nabla \mathcal{L}(\theta) = 0\}$，Hessian 算子 $\nabla^2 \mathcal{L}(\theta)$，以及损失梯度场 $-\nabla \mathcal{L}$。

定义 1（李雅普诺夫函数）。给定动力学 $\dot{\theta} = F(\theta)$ 与闭不变集 $\mathcal{A}$，函数 $V: \Theta \to \mathbb{R}_{\geq 0}$ 称为关于 $\mathcal{A}$ 的李雅普诺夫函数，若 (i) $V$ 在 $\mathcal{A}$ 上恒为零；(ii) 沿动力学非增 $\frac{d}{dt} V(\theta(t)) \leq 0$；(iii) $\mathcal{A}$ 外的点沿动力学严格递减。

**为什么这个定义对大模型训练至关重要？**因为它把"是否到达最小值"这个难以直接观测的问题，转化为"是否存在可计算的 $V$ 满足上述三个条件"——后者可以通过监测训练轨迹上的函数值序列来验证。工程上：如果 loss 本身是 $V$ 的好候选（$\mathcal{L}$ 沿梯度流非增），那么 loss 曲线下降就严格等价于"在朝最小值集合前进"。但 loss 本身是否真是李雅普诺夫函数，恰恰依赖于景观几何——这正是后文 §3-§6 要回答的问题。

进一步，本文区分李雅普诺夫稳定性（Lyapunov stable）、渐近稳定性（asymptotically stable）、指数稳定性（exponentially stable）三个强度等级。对大模型训练而言，渐近稳定是底线要求，指数稳定是奢侈目标——前者保证扰动后能回到 $\mathcal{A}$，后者额外给出收敛速率的显式界。

三、损失景观的临界点几何：鞍点逃逸与 Mode Connectivity

$\mathcal{L}$ 的临界点集 $\text{Crit}(\mathcal{L})$ 包含三类：全局/局部极小（局部 index 为 $d$ 的正定 Hessian）、鞍点（至少有 1 个负曲率方向）、退化点。Dauphin 等 2014 年的工作显示高维非凸景观中鞍点数量指数级多于极小点，这直接驱动了 SGD 通过"鞍点逃逸"而非"极小点选择"实现有效优化的直觉。

这条直觉在大模型时代被进一步强化。我们把观察分成三个层面：

(a) 损失景观的局部几何：Hessian 谱在大模型训练中呈现重尾特征——少量极大特征值（top eigenspace 主导方向）+ 大量近零特征值（flat directions）。这意味着 SGD 在 flat 方向上的等效步长是放大的，模型偏好走到宽平极小（wide minima），进而被多篇工作（Keskar et al. 2017、Smith et al. 2021）关联到泛化性能。但"宽即好"在 $d > 10^9$ 后是否仍是真命题，文献尚无定论——[498] 中提到的 Fisher 信息几何与 [533] 提到的 NTK 视角给出部分回答，但都未能给出与 width 直接挂钩的损失景观不变量。

(b) Mode Connectivity：Garipov et al. 2018、Frankle et al. 2020 显示两个独立训练的极小点之间存在低损失路径（mode connectivity）。这条路径的存在意味着损失景观不是若干孤立盆地的拼图，而是更高维的连续结构——对稳定性分析的关键意义是：任意两个 $\mathcal{A}_1, \mathcal{A}_2$ 之间存在稳定过渡通道，训练"卡在某个 mode"不是基本限制，而是参数初始化与优化器几何共同造成的可达性约束。

(c) 鞍点逃逸速率：在非退化鞍点附近，梯度流逃离所需时间与负曲率方向曲率成反比（Saddle-to-Saddle Dynamics）。这一观察直接推导出 §7 中的工程推论：监控负曲率谱分位（top-$k$ negative Hessian eigenvalues）可以预警"模型即将逃离某个 mode"，从而触发学习率调度或 checkpoint 切换。

本节核心结论：大模型损失景观是一个充满鞍点的高维流形；训练收敛的稳定性判定必须区分"进入极小点"与"经过鞍点"两种动力学行为——前者对应 $\mathcal{L}$ 单调下降段，后者对应 $\mathcal{L}$ 短暂波动。

四、神经切线核视角下的 NTK 线性化与收敛速率

NTK（Neural Tangent Kernel，Jacot et al. 2018）是把神经网络在无穷宽极限下线性化的理论工具。对参数 $\theta$ 在 $\theta_0$ 邻域，$f(x; \theta) \approx f(x; \theta_0) + \nabla_\theta f(x; \theta_0) \cdot (\theta - \theta_0)$，定义 NTK $K(x, x') = \nabla_\theta f(x; \theta_0)^\top \nabla_\theta f(x'; \theta_0)$。无穷宽网络训练等价于该核函数下的核回归。

NTK 与李雅普诺夫稳定性的关系有两层：

第一层：在 NTK 体制下，损失景观退化为关于 NTK 的凸问题，任意局部极小都是全局极小，梯度流收敛到唯一极小点，指数稳定——这是 NTK 给出的最强稳定性结论。但该结论只对严格 NTK 体制成立（每层宽度 $n \to \infty$），对真实大模型（有限宽）只是近似。

第二层：有限宽网络偏离 NTK 体制的程度，可被定义为李雅普诺夫函数的扰动边界。具体来说：定义 $\Delta K = K_t - K_{t_0}$（训练过程中的 NTK 漂移），文献 [533] 中已实证 $\Delta K$ 的谱范数随训练时间增长且与特征学习强度正相关。我们可以构造候选李雅普诺夫函数

$V(\theta) = \mathcal{L}(\theta) + \lambda \| \nabla_\theta f(\cdot; \theta) - \nabla_\theta f(\cdot; \theta_0) \|^2$

其中 $\lambda > 0$ 控制对特征学习的惩罚。该函数沿梯度流的递减性，等价于 NTK 漂移有界——这给出"特征学习强度可控"的形式化定义。

对工程的指导：监控 $\Delta K$ 的谱范数（通过 Hessian-vector product 高效计算）比监控 loss 更能反映模型是否进入"已收敛且不再学新特征"的状态。生产中常见的"loss 还在掉但模型行为已稳"的现象，对应 $\Delta K$ 谱范数跌破阈值。

五、李雅普诺夫函数的存在性与构造

§2 中我们把"收敛"翻译为"存在李雅普诺夫函数"。本节回答一个核心问题：对一般非凸损失 $\mathcal{L}$，李雅普诺夫函数是否一定存在？答案是条件性的——经典逆李雅普诺夫定理（Converse Lyapunov Theorem）告诉我们，紧不变集 $\mathcal{A}$ 附近如果动力学是渐近稳定的，则必然存在 $V$；但"渐近稳定"这一前提本身就需要构造。

我们列出三种实用的 $V$ 构造路径，按工程可行性排序：

(a) 直接候选：$V = \mathcal{L}$。这是最朴素的尝试，但 $\mathcal{L}$ 沿梯度流恒有 $\dot{V} = -\|\nabla \mathcal{L}\|^2 \leq 0$——这是严格的！换句话说，loss 本身沿梯度流就是李雅普诺夫函数，且沿梯度流严格递减直到 $\nabla \mathcal{L} = 0$。这个看似平凡的观察其实给出了"loss 曲线下降"的理论合法性。问题是：$\mathcal{L}$ 的全局李雅普诺夫性质只对纯梯度流成立，对 Adam 等带动量的优化器，需要附加动量项进入状态空间（$\theta, v$）。

(b) 能量函数候选：对带 momentum 的 SGD，把 $(\theta, v)$ 视为相空间，定义 $V(\theta, v) = \mathcal{L}(\theta) + \frac{1}{2}\|v\|^2 + \alpha \theta^\top v$。当 $\alpha$ 选为适当参数（与动量系数 $\beta$ 相关）时，$V$ 沿动力学非增。工程意义：动量训练下 loss 单调下降并不自动成立——loss 曲线偶尔上升是合理的能量重新分布。这反驳了工程界常见的"loss 必须单调下降才健康"的朴素判据。

(c) 拓扑不变量候选：见 §6，我们借助损失景观的 Euler 特征数 $\chi$ 构造 $V = \mathcal{L} + \epsilon \chi$，在小 $\epsilon$ 区间内 $V$ 比 $\mathcal{L}$ 更能区分不同 basin（拓扑稳定的 basin 共享同一 $\chi$），从而把"收敛到拓扑等价 basin"作为更粗的稳定性目标。

核心结论：大模型训练的稳定性证明不是找到"最好的" $V$，而是接受"工程可观测 $V$"的多重等价类——$V$ 的选择取决于你想监控什么（loss 单调性？NTK 漂移？拓扑 basin 一致性？）。

六、统一视角：拓扑稳定性与 Euler 特征数

把 §3-§5 的几何对象放到更一般的拓扑框架下，能给出"收敛"这一概念的更粗粒度解释。考虑损失景观 $\mathcal{L}^{-1}((-\infty, c])$ 的 sublevel set $X_c = \{\theta : \mathcal{L}(\theta) \leq c\}$。当 $c$ 跨越临界值 $\mathcal{L}(\theta_{\text{crit}})$ 时，$X_c$ 经历 Morse 手术（handle attachment/detachment），其拓扑不变量 Euler 特征数 $\chi(X_c)$ 发生跃变。

关键观察：训练过程中 $X_{\mathcal{L}(\theta(t))}$ 的拓扑变化次数是有限且依赖于景观结构。文献（[498] [538]）中已多次涉及"等价类下的训练"——例如 Wasserstein 等价的 basin 在拓扑上可视为同一连通分支。

本文的核心统一命题是：

命题（拓扑稳定性）。设 $\theta_1, \theta_2$ 是训练轨迹上两点，若 $\mathcal{L}(\theta_1), \mathcal{L}(\theta_2)$ 在同一拓扑等价类（$\chi$ 不变区间），则训练过程在拓扑意义上稳定——不存在跨 basin 的不稳定过渡。

证明思路：跨 basin 过渡必然穿过鞍点（index ≥ 1 的临界点），而穿过临界点时 $X_c$ 的 $\chi$ 必跃变——所以 $\chi$ 不变等价于未跨 basin。$\square$

对工程的意义：监控训练过程中 sublevel set 拓扑（特别是 $\chi$ 与 Betti 数 $\beta_0, \beta_1, ...$）给出了比 loss 更稳定的"是否换 basin"指示器。生产中典型现象——"checkpoint A 与 checkpoint B 的 loss 几乎一致但下游表现差很多"——大概率对应 $\chi$ 跨跃。

计算可行性：直接计算 $\chi$ 在 $d > 10^9$ 参数空间不可行；但可以通过 Hessian 谱估计（critical point 处的 Morse index 等于负特征值个数）或通过采样子空间上的持久同调（persistent homology）近似。本文不强求工程实现，仅作为理论参照。

七、对工程实践的推论

把上述理论翻译为对大模型训练工程师的具体动作，按"可执行性从高到低"列出五条：

推论 1：Loss 曲线下降 ≠ 收敛。 训练日志上 loss 单调下降只证明 $\mathcal{L}$ 沿梯度流递减（§2），不能证明模型已到达期望 basin。操作：在监控面板上同时显示 loss 曲线 + 一个"拓扑稳定度"指标（即使是最朴素的——连续 $N$ 个 checkpoint 的 loss 差分均值）。

推论 2：鞍点逃逸是可监控的。 Hessian 的负曲率谱（top-$k$ negative eigenvalues）反映即将逃离哪个 mode。操作：每 1000 step 跑一次 Hessian-vector product（power iteration, $O(d \cdot k)$），把 top-3 负特征值写入日志。当负特征值突增到 $>$ 阈值时触发学习率下降或 checkpoint 备份。

推论 3：动量训练的 loss 偶尔上升是合法的。 §5 中能量函数 $V(\theta, v)$ 沿动力学非增，但 $\mathcal{L}(\theta)$ 单独可能上升。操作：把"loss 单调下降"从健康判据改为"loss 在 1-hour window 内趋势向下且无大幅震荡"。同时监控 $\|v\|^2$（动量能）作为 $\mathcal{L}$ 上升时的反向证据。

推论 4：NTK 漂移是特征学习强度的指示器。 §4 中 $\Delta K$ 的谱范数 $\|\Delta K\|_{op}$ 反映特征学习强度。操作：在训练初期（前 10% steps） $\|\Delta K\|_{op}$ 应该从 0 快速上升，这是模型从 NTK 体制进入特征学习体制的标志。如果 $\|\Delta K\|_{op}$ 一直为 0，说明模型卡在 lazy training 体制（这是 [533] 中讨论的退化情形）。

推论 5：分布式训练中各 rank 的 $\Delta K$ 应保持一致。 若各 rank 看到的 NTK 漂移谱不同，训练实质上在不同 basin 收敛。操作：在每 $N$ step 后比较 rank 间的特征值分布（KL 散度或 Wasserstein 距离），超过阈值触发 all-reduce 重同步或报警。

推论 6（学习率调度的稳定性视角）： 学习率 warmup / decay 在李雅普诺夫分析中等价于动力学向量场的时变缩放。$\eta(t)$ 从 $\eta_{\min}$ 上升到 $\eta_{\max}$ 的 warmup 阶段，等价于把梯度流 $\dot{\theta} = -\nabla \mathcal{L}$ 在 $[0, T_w]$ 时段内替换为 $\dot{\theta} = -\eta(t) \nabla \mathcal{L}$。在这个时变动力学下，§5 中候选 $V = \mathcal{L}$ 不再是非增——因为 $\dot{V} = -\eta(t) \|\nabla \mathcal{L}\|^2$ 仍然 $\leq 0$，所以 $\mathcal{L}$ 沿 warmup 阶段仍单调递减；但能量函数 $V = \mathcal{L} + \tfrac{1}{2}\|v\|^2$（带 momentum 时）会出现短暂上升，对应工程上常见的"warmup 头几步 loss 短暂上扬"现象。这不是异常而是时变动力学的合法行为。操作：把 warmup 阶段的 loss 上升从报警条件中移除，改用 $\|v\|^2$ 与 $\eta(t)$ 同步监测。

推论 7（梯度裁剪与稳定性的关系）： Global norm gradient clipping $\|\nabla \mathcal{L}\| > c$ 时强制 $\|\nabla \mathcal{L}\| = c$——这在动力学上等价于把梯度流投影到半径 $c$ 球内。投影破坏了 $\dot{\theta} = -\nabla \mathcal{L}$ 的光滑性，使 $\mathcal{L}$ 不再是严格李雅普诺夫函数（投影点处 $\dot{V}$ 可能为正）。然而，文献与实践中均观测到裁剪后训练仍稳定——这意味着实际训练稳定性的 $V$ 不是 $\mathcal{L}$，而是某个 $\|g\| \leq c$ 约束下的松弛函数。构造这样的 $V$ 是开问题，但工程上可以接受"裁剪是稳定性增强而非破坏"的实用结论。操作：梯度裁剪阈值 $c$ 不应过小——若 $c < \|\nabla \mathcal{L}\|_{99\%}$（99 分位数），则大部分 step 都被投影，相当于动力学不再是梯度流而是约束动力学，李雅普诺夫分析不再直接适用，需要切换到约束动力系统框架（Khalil 2002 第 9 章）。

操作总览：把上面 7 条落到监控面板，对应 7 个独立指标 + 各自阈值 + 触发动作。生产团队无需懂李雅普诺夫函数的存在性证明，只需把这 7 个指标当作训练稳定性的"经验代理"使用即可。当某个指标长期偏离健康范围时，应触发人工介入而非自动重启——因为偏离可能反映训练进入了一个未充分建模的 basin，自动重启会丢失信息。

八、讨论与局限

本文给出的统一框架有三点重要局限，工程师使用时需要留意：

局限 1：理论结论依赖梯度流理想化。 我们假设 $\dot{\theta} = -\nabla \mathcal{L}$，但实际优化器（Adam、Shampoo、Lion）是带预处理与自适应步长的，与梯度流有显著偏差。§5 中提到的方法可以推广到带预处理情形，但需要重新构造 $V$——本文未给出完整推广。

局限 2：拓扑不变量在 $d > 10^9$ 时不可直接计算。 §6 的 $\chi$ 与 Betti 数在数学上定义良好，在工程上只能通过子空间采样近似。本文的拓扑稳定性命题因此是"理论正确、工程不可观测"的状态——除非采用稀疏化或子网络代理（subnetwork proxy）方法。

局限 3：李雅普诺夫函数的选择不是唯一的。 §5 中我们给出三类候选 $V$，但实际工程中"该选哪个"取决于监控目标。本文不主张某个 $V$ 优于另一个，而是主张"存在 $V$ 即可，$V$ 的选择反映监控意图"。

与已有研究的关系：本文的角度选择刻意避开与近 14 天文章的同质化主题。已覆盖的角度包括——Scaling Law 相变（[565]）、涌现能力相变（[560]）、ICL 贝叶斯推断（[555]）、模型合并线性算子（[550]）、知识蒸馏信息几何（[543]）、Wasserstein 对齐（[538]）、神经切线核（[533]）、稀疏注意力（[528]）、率失真理论（[523]）、扩散语言模型离散-连续（[518]）、MoE 路由（[513]）、测试时计算路径积分（[508]）、位置编码谱理论（[503]）、偏好优化 Fisher 信息（[498]）。本文的"动力系统稳定性"角度与以上均不同——它不是某个已有理论的延伸，而是把多个理论用稳定性语言重新串联。

九、给研究者与 SRE 的清单

给理论研究者：李雅普诺夫稳定性是已有多个理论（NTK、Morse 理论、信息几何）的共同输出语言。建议未来工作考虑：(a) 给出大模型训练的逆李雅普诺夫定理，明确"训练稳定"的形式化必要条件；(b) 探索 Adam 等自适应优化器的逆李雅普诺夫构造；(c) 把拓扑稳定性推广到分布式训练的多 trajectory 情形。

给 SRE 与训练工程师：本文给出的 5 条推论可直接落到训练监控面板。下表给出每个指标的"健康范围 + 异常动作"建议。

最后一句：训练稳定的判定标准不是 loss 数字，而是"是否在李雅普诺夫函数的次水平集内运行"。把这一句话翻译成监控指标，比任何单一 loss 阈值都更能反映模型的真实训练状态。

一句话摘要：把大模型训练动力学重新表述为损失景观上梯度流的李雅普诺夫稳定性，能把"收敛"这一工程口号变成可被理论验证的命题，并给出 5 条对训练监控可直接落地的工程推论。

参考文献

1. Dauphin, Y. N., et al. (2014). Identifying and attacking the saddle point problem in high-dimensional non-convex optimization. NeurIPS.
2. Keskar, N. S., et al. (2017). On large-batch training for deep learning: Generalization gap and sharp minima. ICLR.
3. Garipov, T., et al. (2018). Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs. NeurIPS.
4. Frankle, J., et al. (2020). Linear Mode Connectivity and the Lottery Ticket Hypothesis. ICML.
5. Jacot, A., Hongler, C., & Gabriel, F. (2018). Neural Tangent Kernel: Convergence and Generalization on Neural Networks. NeurIPS.
6. Smith, S. L., et al. (2021). On the Generalization Benefit of Normalization in Large Scale Optimization. arXiv.
7. Khalil, H. K. (2002). Nonlinear Systems (3rd ed.). Prentice Hall.（逆李雅普诺夫定理标准教材）
8. Milnor, J. (1963). Morse Theory. Princeton University Press.（Euler 特征数与 Morse 手术经典）
9. Edelsbrunner, H., & Harer, J. (2010). Computational Topology: An Introduction. AMS.（持久同源计算方法）
10. Power, A., et al. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. arXiv.（与本文 §1 中 Grokking 现象相关）
11. Nakkiran, P., et al. (2020). Deep Double Descent. ICML.（与本文 §1 中 double descent 相关）
12. Li, M., et al. (2020). The Lottery Ticket Hypothesis. ICML.（与本文 §3 中 width 相关讨论）
13. Fort, S., & Jastrzebski, S. (2019). Large Scale Structure of Neural Network Loss Landscapes. NeurIPS.
14. Papyan, V. (2018). The Full Spectrum of Deepnet Hessians at Scale. ICML.
15. Goodfellow, I., et al. (2014). Qualitatively characterizing neural network optimization problems. ICLR.（鞍点逃逸的早期实证）
16. Lee, J., et al. (2019). Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent. NeurIPS.（lazy training 体制）
17. Lewkowycz, A., et al. (2020). The large learning rate phase of deep learning. ICML.（NTK 与特征学习体制转换）
18. Arora, S., et al. (2019). On the Computational Efficiency of Training Neural Networks with ReLU Activation. NeurIPS.（有限宽 NTK 的计算可行性）