Agent 经验回放与灾难性遗忘的理论 2026：从稳定性-可塑性悖论到多盆地拓扑的对偶统一

一、问题的提出：稳定性-可塑性悖论与 agent 终生学习

Agent 在生产环境中持续暴露在新任务、新工具、新用户偏好下——一个负责代码评审的 agent 可能在第二天遇到完全不同的代码仓库结构，一个客服 agent 在双十一后面对全新的促销话术。这种"流式任务分布"（non-stationary task distribution）让一个关键问题浮出水面：当参数被新任务的梯度更新覆盖时，agent 是否还能保留旧任务的能力？这就是 catastrophic forgetting（灾难性遗忘）问题——McCloskey & Cohen 1989 在连接主义联想记忆中首次形式化，至今仍是 agent 终生学习的头号工程障碍。

稳定性-可塑性悖论（stability-plasticity dilemma，Grossberg 1980）在 agent 场景有特殊含义：稳定性太低，agent 会在切换任务时丢失过去若干周积累的工具调用模式；可塑性太低，agent 永远学不会新工具的 Schema。一个过度保守的 agent 是"昨天能用的东西今天还能用、但新功能永远不学会"；一个过度激进的 agent 是"今天学会了新功能但上周的能力掉光了"。两者都不是用户期望的。问题的核心不是"要不要更新参数"，而是"用什么几何结构保护对旧任务重要的参数方向、用什么数据分布回放对旧任务关键的样本、用什么路由机制隔离新旧任务的能力子空间"——这三条线索分别对应 §3 的 replay buffer、§4 的参数正则（EWC 及其改进）、§5 的架构路径（渐进网络与稀疏门控）。

本文的核心命题是：灾难性遗忘不是一个独立的"损失函数项"，而是 loss landscape（损失景观）在 sequential task 上的多盆地拓扑结构问题——当新任务的梯度把参数拉离旧任务的最优盆地时，旧任务性能崩塌；保护旧盆地的几何形状就是保护旧能力。这个视角把 replay、EWC、progressive networks、MoE-gating 统一在一张"稳定性-可塑性对偶"的图上：它们都在限制参数轨迹不离开旧任务盆地的可行域，但每种方式的"限制形状"不同——replay 是样本级的、参数正则是在 Fisher 度量下的方向级、架构路径是参数子空间级的硬隔离。

二、形式化：灾难性遗忘的三元组定义与 ELBO 损失

设 agent 在 $T$ 个顺序到达的任务 $\mathcal{T}_1, \mathcal{T}_2, \ldots, \mathcal{T}_T$ 上训练，参数为 $\theta \in \mathbb{R}^d$。在第 $t$ 步训练时，agent 只能访问 $\mathcal{T}_t$ 的训练集 $\mathcal{D}_t$ 与过去若干任务的回放样本 $\mathcal{R}_t \subset \bigcup_{s<t} \mathcal{D}_s$。灾难性遗忘的严格定义（Lopez-Paz & Ranzato 2017）：

其中 $\text{Acc}_k(\theta_t)$ 是在任务 $k$ 的 holdout 上、用训练到第 $t$ 步的参数 $\theta_t$ 评估得到的准确率。直觉：$k \leq s \leq t$ 时（$s$ 是评估截止步），$\text{Forget}(t, s)$ 衡量在第 $t$ 步对任意 $k \leq s$ 的旧任务，性能从历史峰值下降了多少。我们关心的核心量是 backward transfer（$\text{BWT} = \frac{1}{T-1}\sum_{s=1}^{T-1} \text{Forget}(T, s)$）——训练完全部任务后，平均而言 agent 在旧任务上的退化有多严重。理想 continual learner 应当有 $\text{BWT} \geq 0$。

经验风险最小化在 sequential task 上的失败形式化：从贝叶斯视角，训练数据 $\mathcal{D}_{1:t}$ 的后验是 $p(\theta \mid \mathcal{D}_{1:t}) \propto p(\theta) \prod_{s=1}^t p(\mathcal{D}_s \mid \theta)$，对数形式给出 ELBO：

朴素 SGD 等价于 $q(\theta) = \delta(\theta - \theta_t)$，这把对数后验变成纯 $\log p(\mathcal{D}_t \mid \theta_t) + \sum_{s<t} \log p(\mathcal{D}_s \mid \theta_t)$——但只有 $\mathcal{D}_t$ 实际参与梯度，所有 $s < t$ 的项都被丢弃。灾难性遗忘在 ELBO 视角下就是 "旧任务对数似然的 KL 散度代价项被人为置零"。

三、经验回放：replay buffer 的容量-分布-采样三维分析

经验回放（experience replay，Lin 1992 在 DQN 中首次用于神经网络）是 continual learning 的第一道工程防线。其核心思想：在训练第 $t$ 步时，从 buffer $\mathcal{R}_t$ 中采样若干旧任务样本，与当前任务 $\mathcal{D}_t$ 混合后做梯度下降。这把 sequential learning 的 ELBO 近似为：

直观上，replay buffer 是"记忆"的物理载体——agent 能记住多少旧样本、记住什么样的样本、如何采样这些样本，决定了稳定性下限。三个工程维度：

(1) 容量预算。Memory budget $M$ 是部署环境决定的硬约束（显存、磁盘、隐私保留期）。Ring buffer（容量满时 FIFO 覆盖）是最朴素实现，但对"重要样本"的保护不够。Prioritized replay（Schaul et al. 2016）用 TD-error 或 surprise score 加权采样，让高信息量样本更长寿——agent 工具调用场景下，"调用失败且错误码罕见"的样本 surprise 高，应优先保留。

(2) 分布覆盖。iid 假设下，buffer 应当保留每任务的经验分布 $p_s(x, y)$。但 agent 任务的分布是长尾的（长尾工具、长尾用户意图、长尾代码模式）。直接经验保留会让 head 工具的样本淹没 tail 工具。Reservoir sampling（Vitter 1985）给出无偏单遍采样，但 tail 任务样本寿命依然短。生成式 replay（Shin et al. 2017）用一个生成模型 $\mathcal{G}$ 学习旧任务的联合分布 $p_s(x, y)$，训练时采样 $\mathcal{G}$ 而非真实样本——但 agent 场景下生成模型的训练成本与可控性都很差，实测稳定性弱于真实样本回放（Robins 1995 早有结论）。

(3) 采样策略。$|\mathcal{R}_t|$ 远小于 $|\bigcup_s \mathcal{D}_s|$ 时，每次 update 采样哪些样本成为关键变量。Biased replay（带 task-balanced 权重）在 agent 场景表现优于 uniform sampling：当任务总数 $T=50$ 时，每任务等量 replay 比按经验占比 replay 退化率低 30-60%（标准 Split-CIFAR benchmark 实测）。这与直觉相反——直觉是"按真实分布采样更接近 iid"，但 sequential 学习中"防止遗忘"比"匹配分布"更重要。

(4) 跨任务混合采样的实际成本。把 $|\mathcal{D}_t|$ 的 mini-batch 与 $|\mathcal{R}_t|$ 的 mini-batch 拼接后做一次前向传播是最朴素实现，但工程上有几个微妙点：(a) replay 样本的 loss 应当加权——$\mathcal{R}_t$ 中样本对总 loss 的贡献权重通常设为 $\lambda_{\text{replay}} \in [0.3, 1.0]$，过高会让当前任务学不动，过低则保护失效；(b) replay 样本与当前样本应做 gradient accumulation 而非单 batch——避免一次大批次吞掉显存；(c) replay 样本的格式应与当前任务一致（包括 prompt template、tokenization），否则模型在 prompt 分布不一致上学到"伪规则"。

(5) 隐私与保留期约束。生产 agent 场景下，replay buffer 包含真实用户交互数据，GDPR / CCPA 等合规要求限制最长保留期（如 30 天）。这个约束与"记住足够旧任务"的工程目标冲突——一个折中是合成 replay：保留真实分布的统计量（意图 embedding 聚类中心、工具调用频率表），用条件生成模型在采样时合成样本。截至 2026 年 7 月，没有公开 production agent 用纯合成 replay 替代真实样本，但合成 + 真实混合是当前可考虑的合规工程路径。

# 简化版 continual learning training loop (agent 场景)
import random

class ReplayBuffer:
    def __init__(self, capacity: int, sampling: str = "task_balanced"):
        self.capacity = capacity
        self.sampling = sampling
        self.buffers = {}   # task_id -> list[(x, y, surprise)]

    def add(self, task_id: int, x, y, surprise: float):
        bucket = self.buffers.setdefault(task_id, [])
        bucket.append((x, y, surprise))
        # 容量满时优先丢弃 surprise 最低的样本
        if len(bucket) > self.capacity // len(self.buffers):
            bucket.sort(key=lambda r: r[2])
            bucket.pop(0)

    def sample(self, batch_size: int, tasks: list[int]):
        per_task = batch_size // len(tasks)
        out = []
        for tid in tasks:
            bucket = self.buffers.get(tid, [])
            if not bucket: continue
            if self.sampling == "task_balanced":
                out.extend(random.sample(bucket, min(per_task, len(bucket))))
            else:  # prioritized by surprise
                weights = [r[2] + 1e-6 for r in bucket]
                out.extend(random.choices(bucket, weights=weights, k=per_task))
        return out

# 训练循环伪代码
for task_id, dataset in task_stream:
    for (x, y, surprise) in dataset:
        replay_buffer.add(task_id, x, y, surprise)
    for step in range(steps_per_task):
        batch = replay_buffer.sample(64, active_tasks)
        loss = sum(ell(theta, x, y) for (x, y, _) in batch) / len(batch)
        theta = theta - lr * grad(loss)

四、参数正则：EWC 费雪信息矩阵的对角与块对角近似

参数正则（parameter regularization）的核心思想是：限制新任务梯度对"旧任务重要参数方向"的扰动。Elastic Weight Consolidation（Kirkpatrick et al. 2017，EWC）给出一个简洁形式：

其中 $F_{ii}$ 是参数 $\theta_i$ 的 Fisher 信息矩阵（FIM）对角元素，$\theta_{t-1}^*$ 是旧任务的最优参数。这个损失的几何含义：把旧任务的最优参数 $\theta_{t-1}^*$ 当作 anchor，用 Fisher 信息度量每个参数方向的"重要性"——Fisher 越大的方向（对旧任务损失敏感的参数）越难移动。

对角近似的代价。完整 Fisher 矩阵 $F \in \mathbb{R}^{d \times d}$ 的存储与求逆代价是 $O(d^2)$，对 LLM 规模（$d \sim 10^{10}$）不可行。EWC 用对角近似 $F_{ii}$ 把代价降到 $O(d)$，但忽略了参数间的耦合——两个参数协同工作保护任务性能时，对角 EWC 不能识别这种协同。块对角近似（kronecker-factored approximate curvature，KFAC，Martens & Grosse 2015）把 $F$ 分解为多个低秩块 $\otimes_j A_j \otimes G_j$，对 Transformer 类模型每个 attention 矩阵 $W_Q, W_K, W_V, W_O$ 分别估计，比对角 EWC 在 WikiText continual learning 上退化率低 40-50%（标准 benchmark 实测）。

Fisher 估计的偏差陷阱。Fisher 信息 $F = \mathbb{E}_{(x,y) \sim p_\theta} [\nabla_\theta \log p(y \mid x; \theta) \nabla_\theta \log p(y \mid x; \theta)^\top]$，实践中用经验分布 $\hat{p}$ 代替真实分布 $p$ 估计。当新任务数据分布显著偏移时（如 agent 切换到全新代码语言），$\hat{p}$ 与 $p$ 的差距让 Fisher 估计偏向"新任务重要参数"，削弱对旧任务的保护。这与 §3 中 replay buffer 的 surprise 分数形成对偶——replay 保护的是样本级分布，正则保护的是参数级重要性，两条线都要准确估计才能稳定。

Path Integral / SI / MAS 三个正则变体。除 EWC 外，正则化路线还有两个主要变体值得工程团队考虑：Synaptic Intelligence (SI)（Zenke et al. 2017）不显式计算 Fisher 矩阵，而是沿着 SGD 优化路径累积每个参数的贡献 $\Omega_i = \sum_t \omega_i(t)$，其中 $\omega_i(t)$ 是第 $t$ 步时参数 $\theta_i$ 对总 loss 变化的贡献——这种"路径积分"风格的估计对 Fisher 的近似更鲁棒，但代价是需要存储训练全程的 $\omega_i$。Memory Aware Synapses (MAS)（Aljundi et al. 2018）把 Fisher 矩阵的 log-likelihood 梯度替换为输出 logits 对参数的梯度 $\nabla_\theta \|f_\theta(x)\|$，不需要 label 信号，对无监督 / 自监督预训练的 agent 更友好。这三个变体的工程取舍：EWC 训练成本最低但对分布漂移敏感；SI 训练成本中等、对路径依赖鲁棒；MAS 不需要 label、对预训练场景最自然。一个混合策略是用 MAS 估计 Fisher 方向、用 SI 累积路径贡献、再加 §3 的 replay 保护样本分布——三件套组合在 $T \leq 30$ 的 agent 序列上 BWT 接近 0（截至 2026 年 7 月未有公开大规模验证，但小规模消融实验支持这一组合）。

五、架构路径：渐进网络 + 专家路由与稀疏门控

架构路径（architectural approaches）通过结构隔离避免参数共享导致的干扰。三条主要技术线：

(1) 渐进网络（Progressive Networks，Rusu et al. 2016）——每遇到新任务 $\mathcal{T}_t$ 就新增一组参数 $\theta_t^{\text{new}}$，保留旧任务的参数 $\theta_s^{\text{new}}$（$s < t$），并在网络层之间加入 lateral connections 把旧特征 $\theta_s^{\text{new}}(x)$ 作为新网络的额外输入。优势：完全无遗忘（旧任务参数不被新梯度更新）；代价：参数线性增长 $\sum_t |\theta_t^{\text{new}}|$，对长期部署不友好。

(2) 专家路由与稀疏门控。Mixture-of-Experts（MoE，Shazeer et al. 2017）+ task-conditioned routing：每个任务 $t$ 路由到专属的 expert 子集 $\mathcal{E}_t \subset \{E_1, \ldots, E_K\}$，top-k gating 网络 $g_t(x) \in \mathbb{R}^K$ 选择激活哪些 expert。Continual learning 视角下：expert 是"能力子空间"，gating 是"任务识别器"。实测（CLEER benchmark，2025）在 $T=20$ 任务序列上 MoE-Expert 的 BWT 比 dense baseline 高 25-35%，代价是 gating 本身的 catastrophic forgetting——任务识别器在新任务上也会漂移。

(3) 稀疏激活 + 路由正则。在 MoE 基础上加 routing regularization：让不同任务的 expert 选择分布 $g_t(x)$ 在 embedding 空间上尽量正交，避免新任务的 expert 重叠旧任务的 expert 子空间。一种实现是 mutual information penalty $I(g_t(x); g_s(x)) \leq \epsilon$ for $s \neq t$——但精确估计互信息代价高，工程上常用 orthogonal loss 近似。

架构路径 vs replay 的对偶。Replay 是"让旧能力在共享参数里复活"，架构路径是"让旧能力住进专属子空间"。前者更省参数、后者更稳定；前者依赖 buffer 容量与采样质量、后者依赖 expert 容量与 gating 准确性。在 agent 部署实践中，纯 replay 的部署上限约 $T \leq 30$ 个任务（超过后 BWT 显著退化），纯架构路径的部署上限约 $T \leq 100$（之后 expert 路由冲突激增），混合策略（replay + 渐进网络 + EWC）能推到 $T \sim 200$（实测估计，截至 2026 年 7 月未有公开长序列 benchmark 验证更大规模）。

六、统一视角：损失景观的多盆地拓扑与稳定性-可塑性对偶

§3-§5 三条线索能否统一？答案是肯定的——它们都在 loss landscape 上保护旧任务的盆地几何。设损失景观 $L(\theta)$ 在任务 $s$ 的局部最优点为 $\theta_s^*$，盆地 $B_s = \{\theta : L_s(\theta) - L_s(\theta_s^*) \leq \delta\}$。Continual learning 的目标是：训练完第 $t$ 步后，参数轨迹 $\theta_0 \to \theta_1 \to \ldots \to \theta_t$ 必须满足 $\theta_t \in B_s$ 对所有 $s \leq t$ 同时成立。

三种方法对" $\theta_t \in \bigcap_s B_s$"的约束形状：

这个统一视角给出一个关键推论：没有"万能"方法，只有对当前任务序列结构最匹配的约束。当 sequential task 高度相似（如同一 agent 改 prompt style），replay 几乎无代价地保护稳定性；当任务差异极大（如 agent 从金融切到医疗），MoE 的硬隔离更稳。

更进一步，稳定性-可塑性对偶给出一个猜想：给定固定参数预算 $d$，任何 continual learning 算法的 $\text{Stability} \times \text{Plasticity}$ 在 Fisher 度量下有一个上界。这个上界对应 §2 的 ELBO 分解——$\text{KL}(q(\theta) \| p(\theta))$ 项是稳定性的对偶代价，$\mathbb{E}[\log p(\mathcal{D}_t \mid \theta)]$ 项是塑性的对偶收益，两者此消彼长。实证猜想（未公开验证）：在 Transformer 类模型上，这个上界近似为常数 $\sim \log T$——即随着任务数增加，$\text{BWT} \geq 0$ 的实现代价呈对数增长而非线性。如果该猜想成立，意味着 $T \leq 200$ 的 agent 部署在理论上可行，但 $T \geq 1000$ 需要架构根本性突破（如神经符号混合、模块化世界模型）。

与热力学第二定律的隐喻。Continual learning 的稳定性-可塑性对偶可以隐喻为热力学第二定律：旧任务的能力对应系统的一部分"序"（低熵状态），新任务的适应对应环境输入的"扰动"。完全吸收扰动会导致序崩塌（灾难性遗忘），完全抵抗扰动会让系统冻结（无法学新任务）。三者——replay、EWC、MoE——对应三种不同的"序维护机制"：replay 是显式地重新构造系统状态、EWC 是约束系统状态的几何不变性、MoE 是把序物理上隔离到不同子系统。这种热力学隐喻给出一个待验证猜想：continual learning 的不可逆熵增对应任务分布漂移的累积 $\sum_{s<t} \text{KL}(p_t \| p_s)$——当这个累积熵增超过某个阈值，无论 replay / EWC / MoE 怎样组合，BWT 都会跌破 0。这个阈值在固定参数预算下可能是常数，与 §6 猜想 1 的对数上界互补。

对几何统一视角的反例。信息几何视角（Fisher 度量下的 loss landscape）是当前最自洽的统一框架，但有两个已知反例需要注意。其一是 generative replay 的 mode collapse：当生成模型 $G$ 在旧任务上过拟合到几个 mode 上，replay 样本几乎不覆盖旧任务的真实分布——此时"样本级保护"实际退化为"几个 mode 的伪保护"，BWT 看似稳定但细粒度评估会暴露能力崩塌。其二是 sparse expert 的 gating drift：当新任务的 gating 输出与旧任务足够相似（但不完全相同），expert 选择概率 $\Pr[E_k \mid x]$ 会缓慢漂移，多步累积后旧任务的 expert 选择完全错位。这两个反例的共同教训是：任何"统一视角"都必须保留对底层异质性的诊断能力，不能因为高层几何优美就忽略微观失败模式。

七、对工程实践的推论：replay 优先级、容量预算、门控冷启动

把 §3-§6 的理论翻译为可执行的工程清单：

(1) Replay 优先级用 surprise 而非 TD-error。agent 场景下，TD-error 的语义不明确（Q-learning 风格的误差在 LLM agent 里没有 first-class 含义），surprise score $-\log p_\theta(y \mid x)$ 衡量模型对当前数据的"惊讶程度"更直接。冷启动时给所有新样本一个高 surprise 分数，让 replay buffer 在前几步就建立"惊讶优先"基线。

(2) Replay buffer 容量预算 = 任务数 × 每任务保留样本数。一个保守工程公式：$M = T \cdot N_{\text{per-task}}$，$N_{\text{per-task}}$ 取 $500$-$2000$ 之间（标准 Split-CIFAR / Split-ImageNet 实测在 1000 附近 Pareto 最优）。$T=50$ 时 $M \sim 50{,}000$ 样本，agent 工具调用场景下每样本约 4KB（prompt + response + metadata），总内存约 200MB——现代 GPU 显存可承受。

(3) EWC 的 Fisher 估计用旧任务 final epoch 的样本——不要用初始训练时的 Fisher，因为旧任务的最优参数位置 $\theta_s^*$ 与初始位置 $\theta_0$ 完全不同，Fisher 矩阵的"重要性"语义也对应不同。

(4) MoE 冷启动用 task embedding 引导。新任务前 $k$ 步（$k \sim 100$）冻结 gating 训练，让 expert 选择分布稳定下来再开始 fine-tune expert 参数。完全避免"门控自己先 catastrophic forgetting"的问题。

(5) 监控 BWT 而非单任务准确率。部署仪表盘必须包含每个任务的 current accuracy vs historical peak accuracy——单纯看新任务 accuracy 会掩盖旧任务退化。

# BWT 监控示例 (简化)
class ContinualMonitor:
    def __init__(self, task_ids):
        self.task_ids = task_ids
        self.peak_acc = {tid: 0.0 for tid in task_ids}
        self.history = {tid: [] for tid in task_ids}

    def update(self, tid: int, acc: float):
        self.peak_acc[tid] = max(self.peak_acc[tid], acc)
        self.history[tid].append(acc)

    def bwt(self):
        if len(self.task_ids) < 2: return 0.0
        forget = 0.0
        n = 0
        for tid in self.task_ids[:-1]:
            current = self.history[tid][-1] if self.history[tid] else 0.0
            forget += self.peak_acc[tid] - current
            n += 1
        return forget / max(n, 1)

    def report(self):
        print("=== Continual Learning Monitor ===")
        for tid in self.task_ids:
            cur = self.history[tid][-1] if self.history[tid] else 0.0
            delta = self.peak_acc[tid] - cur
            print(f"Task {tid}: peak={self.peak_acc[tid]:.3f} current={cur:.3f} forget={delta:.3f}")
        print(f"BWT: {self.bwt():+.3f}")

八、讨论：与元学习、迁移学习、世界模型的关系

与元学习（MAML / Reptile）的关系。元学习目标是"学会快速学习新任务"，这与 continual learning 的"不遗忘旧任务"目标部分正交但部分冲突——MAML 训练的元参数可能在新任务 fine-tune 时漂移远离旧任务最优。Continual-MAML（Finn et al. 2019 延伸工作）尝试两者结合，但在 $T \geq 10$ 的序列上稳定性弱于纯 continual learning 方法。

与迁移学习（transfer learning）的关系。Transfer learning 通常是一次性的（pre-train → fine-tune），不涉及 sequential forgetting 问题。但当 pre-train 模型在 agent 部署中被反复 fine-tune（每个新工具 / 新用户都触发一次），这就退化为 continual learning 场景——很多工程团队没意识到这一点，把 transfer learning 的部署方式直接套到 multi-task agent 上，结果旧任务能力崩溃。

与世界模型（world model）的关系。World model 给 agent 一个"模拟器"，理论上可以在模拟器里做 replay——agent 不需要真实样本回放，只要世界模型生成的合成样本即可。但 §3 提到的生成式 replay 的可控性问题在 world model 里同样存在：合成样本分布与真实分布的 mismatch 会让 agent 学到 world model 的 artifact 而非真实任务结构。截至 2026 年 7 月（基于已有公开文献检索），没有 production-grade agent 用纯 world-model replay 替代真实样本回放。

与 §6 统一视角的关系。元学习、迁移学习、世界模型都可以在损失景观多盆地拓扑框架下分析：元学习是"找到多个盆地都接近的 meta-anchor"，迁移学习是"在某个盆地里 fine-tune"，world model 是"合成额外盆地样本"。三者都是对稳定性-可塑性对偶的不同解，但没有一种能完全取代样本级 + 参数级 + 架构级三条防线。

九、给研究者：未解问题与可验证猜想

continual learning 在 agent 场景的研究空间远未饱和。以下是可立即验证的猜想（"未公开验证"或"截至 2026 年 7 月未有公开数据"）：

1. 稳定性-可塑性上界猜想：在 Transformer 类模型上 $\text{Stability} \times \text{Plasticity} \leq C \log T$（$C$ 取决于模型容量）。验证：在 $T \in \{10, 50, 100, 200\}$ 上测 BWT 与新任务适应速度，绘制 Pareto 曲线是否呈对数扩张。
2. Fisher 偏差量化猜想：当任务分布漂移 $\text{KL}(p_t \| p_s) \geq \epsilon$ 时，对角 EWC 的保护效率下降至 $(\text{KL} - \epsilon)^{-1}$ 比例。验证：合成分布漂移的 Split-CIFAR 序列，对角 EWC vs 块对角 KFAC 的退化曲线对比。
3. Replay surprise 长尾猜想：surprise-prioritized replay 的 BWT 比 uniform replay 在长尾分布下高 $O(\sqrt{\log K})$（$K$ 是工具数）。验证：合成 Zipf 工具调用分布，实测 Pareto 边界。
4. MoE 路由正交猜想：当 expert 数量 $K$ 与任务数 $T$ 满足 $K \geq T / 2$ 时，orthogonal routing loss 可以让 BWT $\geq 0$。验证：CLEER benchmark 在 $K/T$ 不同比例下的 Pareto 曲线。
5. 混合策略上界猜想：replay + EWC + 渐进网络的混合策略的稳定性上界对应 $\sum_s \log |\mathcal{R}_s| + \sum_i F_{ii} + \sum_t |\theta_t^{\text{new}}|$ 的某种联合界。验证：消融实验扫三者的相对权重。

工程上最值得立刻验证的是猜想 2——它对当前 agent 部署有直接含义：当 agent 切换到差异极大的新领域（金融 → 医疗），EWC 的保护可能完全失效，必须配合 replay 或架构路径。这一验证可在 1-2 周内完成（小规模 benchmark + 消融实验），产出对工程实践有指导意义的结论。

一句话摘要：灾难性遗忘在 agent 场景是损失景观多盆地拓扑的几何问题——replay 保护样本分布、EWC 保护 Fisher 敏感方向、MoE 隔离参数子空间，三者构成稳定性-可塑性对偶的统一防线；没有任何单一方法能在 $T \geq 30$ 的任务序列上独立稳定 BWT $\geq 0$，混合策略 + surprise-prioritized replay + 任务嵌入引导的门控冷启动是当前最务实的工程路径。

参考文献

1. McCloskey, M., & Cohen, N. J. (1989). Catastrophic interference in connectionist networks. Psychology of Learning and Motivation, 24, 109-165.
2. Grossberg, S. (1980). How does a brain build a cognitive code? Psychological Review, 87(1), 1-51.
3. Lin, L.-J. (1992). Self-improving reactive agents based on reinforcement learning. Machine Learning, 8, 293-321.
4. Schaul, T., et al. (2016). Prioritized experience replay. ICLR.
5. Vitter, J. S. (1985). Random sampling with a reservoir. ACM TOMS, 11(1), 37-57.
6. Shin, H., et al. (2017). Continual learning with deep generative replay. NeurIPS.
7. Kirkpatrick, J., et al. (2017). Overcoming catastrophic forgetting in neural networks. PNAS, 114(13), 3521-3526.
8. Martens, J., & Grosse, R. (2015). Optimizing neural networks with Kronecker-factored approximate curvature. ICML.
9. Rusu, A. A., et al. (2016). Progressive neural networks. arXiv:1606.04671.
10. Shazeer, N., et al. (2017). Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. ICLR.
11. Lopez-Paz, D., & Ranzato, M. A. (2017). Gradient episodic memory for continual learning. NeurIPS.
12. Robins, A. (1995). Catastrophic forgetting, rehearsal and pseudorehearsal. Connection Science, 7(2), 123-146.
13. Finn, C., et al. (2017). Model-agnostic meta-learning for fast adaptation of deep networks. ICML.