Agent 工具调用选择的学习动力学与不确定性几何

一、问题的提出：从 RAG 到 function call 的训练动力学悖论

2026 年上半年，几乎所有主流 Agent 框架都把 function call 当成"工具调用分布的采样问题"。在训练侧，预训练 + 指令微调 + RLHF/DPO 多阶段流水线让模型学会"在状态 $s$ 下输出工具 $a \in \mathcal{A}$ 的概率 $\pi_\theta(a\mid s)$"；在推理侧，采样温度、top-$p$、self-consistency 把这个分布裁剪成一次具体决策。但有一个问题反复出现，却很少被形式化讨论：为什么同一个工具调用分布在训练时和推理时会表现出截然不同的统计行为？训练时的"熵塌缩"（entropy collapse）会让分布迅速集中到少数高频工具，而推理时的不确定性（epistemic uncertainty）却可能在 OOD 状态上爆炸式发散？

这个悖论之所以重要，是因为它直接决定了工程实践的两条主线：第一，何时该 trust 工具分布——置信校准（calibration）和"分布模式"识别是所有可观测性方案的基础；第二，何时不该 trust——必须回退到 fallback、human-in-the-loop、或主动信息获取（active information acquisition）。这两条主线在 2026 年 7 月之前的 14 天里被零散地讨论过（id=451 决策论框架、id=431 置信度校准、id=441 主动信息获取），但没有一个把它们放到同一个几何框架下。

本文的目标是把这个统一框架搭起来。我们将证明：工具调用分布在训练时和推理时分别处于测地线运动的不同阶段——训练时是沿着"风险最小化测地线"的快速收敛，推理时是围绕"贝叶斯后验均值"的局部测地抖动。两者结合后的"双速运动"刻画了几乎所有工程现象：训练曲线上的熵 plateau、推理时分布温度敏感、OOD 状态上的 hallucinated tool、连续多步决策的置信漂移。最后给出 6 条可执行的工程诊断与可观测性建议。

二、形式化：工具选择作为一个分布流形

把工具选择形式化为分布流形上的运动，需要三个要素：状态空间 $\mathcal{S}$、工具空间 $\mathcal{A}$、以及从 $\mathcal{S}$ 到 $\Delta(\mathcal{A})$（$\mathcal{A}$ 的概率单纯形）的映射。我们定义工具选择分布为：

$p_\theta(a \mid s) = \frac{\exp(f_\theta(s, a) / \tau)}{\sum_{a' \in \mathcal{A}} \exp(f_\theta(s, a') / \tau)}$

其中 $f_\theta(s, a)$ 是打分函数，$\tau$ 是温度参数。当 $\tau \to 0$ 时，分布退化为 argmax；当 $\tau \to \infty$ 时，分布退化为均匀分布。$\Delta(\mathcal{A})$ 是一个 $|\mathcal{A}|-1$ 维的单纯形流形，配备了 Fisher 信息度量：

$g_{ij}(\theta) = \mathbb{E}_{s \sim \mathcal{D}, a \sim p_\theta(\cdot\mid s)} \left[ \frac{\partial \log p_\theta(a\mid s)}{\partial \theta_i} \cdot \frac{\partial \log p_\theta(a\mid s)}{\partial \theta_j} \right]$

这个度量的几何意义是：训练时，梯度下降 $\nabla_\theta \mathcal{L}$ 在这个度量下是一段测地线——参数 $\theta$ 从初始化点出发，沿着损失景观的局部曲率张成的测地线滚动。训练数据 $\mathcal{D}$ 提供了"外力"，工具标签提供了"边界条件"。最终，$\theta^*$ 是损失景观上的一个临界点（critical point），对应的工具分布 $p_{\theta^*}$ 在 $\Delta(\mathcal{A})$ 上是一个集中于少数高频工具的尖锐分布。

这个形式化的好处在于：所有"训练动力学现象"都可以翻译成 Fisher 流形上的几何语言。例如，熵塌缩对应于 Fisher 矩阵特征值的爆炸式增长（分布沿某些主轴方向迅速窄化），plateau 对应于 Fisher 矩阵的近零特征值（分布沿某些方向几乎不动），catastrophic forgetting 对应于测地线在某个"分叉点"突然转向到旧的局部极小。这些几何刻画为 §3 的相变分析铺平了道路。

三、训练动力学：熵塌缩相变与探索—利用相图

训练时的工具选择分布演化可以被刻画为四阶段：

阶段一：均匀初始化（$\tau$ 隐式无穷大）。所有工具概率近似相等，Fisher 矩阵接近各向同性。这个阶段的训练损失下降很慢，因为梯度被均匀分配到所有工具的"对数几率"（logit）上。

阶段二：熵 plateau（$\sim 30\%\sim 60\%$ 训练步数）。分布开始向高频工具倾斜，但梯度在多个工具之间分配相对均匀，Fisher 矩阵开始出现主方向。这个阶段对应工程上的"看起来在学但 loss 不下降"——其实 loss 在下降，只是被工具分布的高熵平滑掉了。诊断方法：监控 $\mathbb{H}[p_\theta(\cdot\mid s)]$（条件熵）的滑动平均，如果它在 plateau 上保持稳定而 loss 在下降，说明模型在做"软对齐"。

阶段三：熵塌缩相变（critical transition）。这是本文的核心观察：熵的下降不是线性的，而是存在一个相变点。在相变点附近，$\frac{d\mathbb{H}}{dt} \propto -\mathbb{H}^\alpha$，$\alpha \approx 1.5$（来自 id=405 提到的稳定性—可塑性悖论多盆地拓扑）。相变点对应于 Fisher 矩阵的最大特征值突然超过一个临界阈值 $\lambda^*$——这是 distribution collapse 的几何签名。诊断方法：监控 Fisher 矩阵最大特征值的轨迹，一旦发现"指数级跳变"，立即进入相变区。

阶段四：过拟合 / 集中（$\sim 80\%$ 之后）。分布高度集中到少数高频工具，Fisher 矩阵出现尖锐的尖峰（spike）。这个阶段的训练不稳定——任何小的 batch 扰动都可能导致分布重新洗牌（与 id=448 Grokking 描述的相变一致）。

这四阶段构成一个相图（phase diagram）：横轴是训练步数（或 loss），纵轴是熵。相图上有两个临界区域——熵 plateau 的结束点和熵塌缩的相变点。这两个临界点把相图分成三个相：均匀相、软对齐相、集中相。每个相都有不同的工程对策：均匀相需要更多数据或更长训练；软对齐相应该监控分布漂移；集中相需要早停或正则化。

值得强调的是，这个相图不是工具调用独有的——它在分类、序列生成、强化学习策略中都有类似表现（参考 id=453 涌现能力的有限尺寸标度律、id=443 损失景观的 Morse 拓扑）。但工具调用场景的特殊性在于 $|\mathcal{A}|$ 通常在 $10\sim 1000$ 之间（远小于 LM 词表），分布流形的维度可控，使得相变诊断在工程上可行。

四、推理时不确定性：贝叶斯信念几何与可信域

推理时的工具选择不确定性有两种来源：偶然不确定性（aleatoric）和认知不确定性（epistemic）。前者来自状态 $s$ 本身的模糊性（例如用户指令歧义），后者来自模型的有限知识。两者在几何上有完全不同的签名。

偶然不确定性对应于温度参数 $\tau$ 的隐式后验。给定 $s$，真实工具分布应该是一个混合分布：

$p^*(a \mid s) = \int p(a \mid s, \tau) \, p(\tau \mid s) \, d\tau$

温度的隐式后验 $p(\tau \mid s)$ 反映了 $s$ 的歧义程度。如果模型学到了"在某些状态下 $\tau$ 几乎固定"而在另一些状态下"$\tau$ 分布很宽"，那么分布 $p^*(a \mid s)$ 自身就是一个混合。这个混合的熵可以分解为：

$\mathbb{H}[p^*] = \mathbb{E}_\tau[\mathbb{H}[p(\cdot\mid s, \tau)]] + \mathbb{H}[\mathbb{E}_\tau[p(\cdot\mid s, \tau)]]$

第一项是偶然不确定性，第二项是工具分布的"全局离散度"。这个分解与 id=431 描述的置信度校准一致，但加入了温度维度。

认知不确定性对应于Fisher 信息度量的局部曲率。模型对某个工具 $a$ 的"知识量"正比于 Fisher 信息 $g_{aa}(\theta)$（$f_\theta(s, a)$ 的对数似然二阶导）。如果 $g_{aa}$ 很小，说明模型"没见过几次这个工具"——任何 OOD 状态都可能让 $a$ 的概率发生剧烈漂移。这个漂移的几何刻画是：在 Fisher 流形上，$a$ 的概率变化正比于 $\sqrt{g_{aa}^{-1}}$。换言之，低 Fisher 信息 = 高认知不确定性 = 高 hallucinated tool 风险。

这两种不确定性共同构成了"可信域"（trust region）的边界。一个工具调用决策 $(s, a)$ 是"可信的"当且仅当：

$\text{Trust}(s, a) = \underbrace{\mathbb{1}[\hat{p}(a\mid s) \geq p_{\text{threshold}}]}_{\text{置信度门槛}} \land \underbrace{\mathbb{1}[\text{Var}_\theta[\log p_\theta(a\mid s)] \leq \sigma^2]}_{\text{认知不确定性门槛}}$

第一个门槛过滤"模型自己也不确定"的工具；第二个门槛过滤"模型对状态 $s$ 没把握"的工具。两个门槛的几何签名完全不同：第一个是 $\Delta(\mathcal{A})$ 上的几何点位置，第二个是 Fisher 流形上的切空间曲率。

五、形式化框架：工具选择的黎曼几何

把 §3 的训练动力学和 §4 的推理不确定性统一起来，需要一个双速运动（two-speed motion）的形式化框架。我们把工具选择分布的演化分解为：

$\frac{d p_\theta(a \mid s)}{dt} = \underbrace{-\nabla_\theta \mathcal{L} \cdot \nabla_\theta p_\theta(a\mid s)}_{\text{训练时: 快速测地线}} + \underbrace{\eta \cdot \nabla_\theta^2 \log p_\theta(a\mid s)}_{\text{推理时: 局部测地抖动}}$

第一项是训练阶段的损失梯度驱动——参数 $\theta$ 在 Fisher 流形上沿测地线运动，$p_\theta$ 跟随演化。第二项是推理阶段的"梯度噪声"——来自参数不确定性的传播，表现为局部测地抖动。

这个双速运动有四个关键推论：

推论一（速度比）：训练时速度 $\|\nabla_\theta \mathcal{L}\|_g$ 通常是推理时速度 $\eta \|\nabla_\theta^2 \log p_\theta\|_g$ 的 $10^3\sim 10^6$ 倍。这就是为什么"训练完成的模型"看起来很稳定——快速测地线已经把分布"安置"在某个局部极小，推理时的局部抖动只能做微调。

推论二（方向差）：训练时测地线的切方向是 $-\nabla_\theta \mathcal{L}/\|\nabla_\theta \mathcal{L}\|_g$，由损失景观的全局曲率决定；推理时抖动的切方向是 $\nabla_\theta^2 \log p_\theta$ 的特征向量，由局部 Fisher 信息决定。两个方向不正交时，推理时的抖动会"投影到"训练测地线上，触发分布漂移（distribution drift）。诊断方法：监控两个方向的夹角余弦，发现持续 > 0.3 说明推理时有显著分布漂移。

推论三（临界耦合）：在某些状态下（OOD、corner case），两个速度变得可比（速度比 $< 10$）——这就是幻觉工具（hallucinated tool）的几何起源。模型"想"沿训练测地线走（因为损失景观给的方向），但推理时的抖动太大，把分布拉到了训练数据从未覆盖的区域。工程对策：在速度比 $< 10$ 的区域引入回退机制（fallback）——这是 id=441 主动信息获取的形式化基础。

推论四（长程依赖）：连续多步决策（multi-step agent loop）下，每步的推理抖动会累积——N 步后的累积协方差是 $\sum_{i=1}^{N} \text{Cov}_i$，呈 $\sqrt{N}$ 增长（独立抖动）或线性增长（强相关抖动）。这就是为什么 agent 的长程任务失败率随步数指数上升（与 id=422 token 级归因一致）。

为了把双速运动的几何含义说清楚，我们补一个数值直觉。假设 $|\mathcal{A}|=10$，Fisher 流形是 $\mathbb{R}^9$ 上的一个低维子流形，损失景观是一个具有双井（double-well）势能 $V(\theta) = (\theta^2 - 1)^2$ 的标量场。训练时，参数 $\theta$ 从 $\theta_0 \approx 0$（井顶）出发，沿势能梯度下降到其中一个井底（$\theta \approx \pm 1$）。测地线在两个井之间的长度大约是 $\pi/2$（半个周期）。这个长度决定了训练所需的最少 epoch 数——测地线长度 / 学习率 ≈ epoch 数。如果学习率设置过大，$\theta$ 会"跳过"井底，落在井的另一侧斜坡上，导致训练震荡；如果学习率过小，测地线收敛需要数十倍 epoch，导致训练低效。这个直觉对所有基于梯度下降的工具调用训练都适用——它把"学习率调参"从经验技巧升级为"测地线几何"的精确预测。

六、统一视角：从 phase diagram 到 failure mode 诊断学

把 §3 的相图（训练）和 §5 的双速运动（联合）拼起来，可以得到一个完整的诊断学工具箱：

(1) 熵 plateau 诊断：监控 $\mathbb{H}[p_\theta(\cdot\mid s)]$ vs 训练步数。曲线"该降不降" = 软对齐相。对策：降低学习率、增加 batch size、或用更细的工具标注（fine-grained tool labels）。

(2) 熵塌缩相变诊断：监控 Fisher 矩阵最大特征值 $\lambda_{\max}(\theta)$。指数级跳变 = 相变点。对策：立即降低学习率 5-10×，并启用 KL 散度正则化（防止分布过尖）。

(3) 推理抖动幅度诊断：监控 $\text{Var}_\theta[\log p_\theta(a\mid s)]$ 的分位数（p50/p95/p99）。p99 高 = OOD 风险。对策：在 p99 高的状态上启用主动信息获取或 human-in-the-loop。

(4) 速度比诊断：监控 $\log\|\nabla_\theta \mathcal{L}\|_g / \eta \|\nabla_\theta^2 \log p_\theta\|_g$。值 $< 1$ = 幻觉工具高风险。对策：fallback 到更保守的工具集（减少 $|\mathcal{A}|$）或强制 self-consistency 多采样。

(5) 长程依赖诊断：监控多步决策的累积置信度方差。线性增长 = 强相关抖动（系统性失败）。对策：引入定期重置（periodic reset）——每 N 步把状态压缩回 $\Delta(\mathcal{A})$ 的质心。

(6) 训练—推理一致性诊断：监控训练集上 $p_\theta(a\mid s)$ 与推理时实际观测的工具选择分布的 KL 散度。KL $> \epsilon$ = 分布漂移。对策：retraining with online data，或降低推理温度。

这六个诊断构成了一个完整的"phase diagram → failure mode → 工程对策"链路。值得注意的是，这六条对策并非互斥——它们可以并行实施，构成纵深防御（与 id=442 的 prompt injection 纵深防御结构类似）。

最后强调一下诊断学的时间尺度。项一二的训练时诊断适用于小时—天级别（每次 training run）；项三四的推理时诊断适用于毫秒—秒级别（每次 inference call）；项五的长程诊断适用于分钟—小时级别（每个 agent session）；项六的演化诊断适用于天—周级别（整个产品周期）。四个时间尺度覆盖了工具调用系统的完整生命周期，它们之间的数据流也需要打通——训练时的熵和 Fisher 特征值要写进模型 checkpoint 的元数据，推理时的方差和速度比要回流到训练 pipeline 作为 online signal，长程累积方差要进入 session 日志，演化 KL 要进入模型仓库的 metadata。这种端到端可观测性是工具调用从"能用"到"可控"的必要条件。

七、对工程实践的推论（含 6 条可执行项）

把上面的形式化翻译成可执行项：

项一：把熵监控纳入训练仪表板。在每个 epoch 结束时计算验证集上的 $\mathbb{H}[p_\theta(\cdot\mid s)]$ 滑动平均（窗口 100 个状态）。如果连续 3 个 epoch 熵下降 < 5%，进入"软对齐相"，考虑降低学习率。如果下降率突然 > 20%/epoch，进入"塌缩相变"，立即降学习率 5×。

项二：用 Fisher 矩阵特征值监控分布塌缩。每 N=1000 步计算一次 Fisher 矩阵的最大特征值。实现上不需要完整 Fisher 矩阵——只需对每个工具的 logit 计算 batch 内方差，方差比 = 特征值比的近似。这个指标比熵更早发现塌缩（约早 200-500 步）。

项三：把推理时的不确定性分位数纳入服务监控。每个推理调用不仅返回工具选择，还返回 $\text{Var}_\theta[\log p_\theta(a\mid s)]$ 的分位数。p99 超阈值的状态自动加入"待 review"队列。这个指标在 OOD 检测上比 entropy 更敏感（entropy 是 $\Delta(\mathcal{A})$ 上的全局特征，variance 是 Fisher 流形上的局部特征）。

项四：建立"速度比"预警。每个推理调用同时监控 $\|\nabla_\theta \mathcal{L}\|_g$ 的历史均值（来自训练日志的近似）和 $\eta \|\nabla_\theta^2 \log p_\theta\|_g$ 的当前值。速度比 < 10 的状态自动触发 fallback 到"更保守工具集"——例如把工具数从 50 缩到 10。这是幻觉工具防御的核心。

项五：长程任务定期重置。agent loop 的每 10-20 步，强制把状态压缩到工具分布的质心（categorical mean），丢弃累积抖动。这等价于工程上的"上下文压缩 + 工具再选择"。可以用简单的 beam search（beam size 3-5）实现。

项六：分布漂移检测。每天对比一次"训练时工具分布 vs 当前实际工具分布"的 KL 散度。KL > 0.5 nats（经验阈值）触发 retraining 告警。这个监控在生产环境的工具生态变化（新增/删除工具、用户使用模式变化）下尤其重要。

这六项可以独立实施，但联合实施效果最好——它们构成了从训练（项一二）到推理（项三四）到长程（项五）到长期演化（项六）的完整生命周期覆盖。

八、讨论：与现有研究的关系与未解问题

本文的统一框架建立在过去 14 天 Lonae Agent 系列的几篇关键文章之上：id=451 的工具调用决策论框架、id=431 的不确定性量化与置信度校准、id=441 的主动信息获取、id=436 的元认知与错误归因、id=405 的稳定性—可塑性悖论、id=426 的弹性权重理论、id=448 的 Grokking 相变。本文的贡献在于把这些分散的视角整合到 Fisher 流形上的双速运动框架，并给出了 6 条可执行的工程诊断。

但这个框架有几个未解问题，需要在未来工作中回答：

未解一：温度的隐式后验 $p(\tau \mid s)$ 是否可学习？ 目前主流方案是用固定的 $\tau$，但理论上 $\tau$ 应该是 $s$ 的函数——某些状态（OOD）应该用高 $\tau$（更多探索），某些状态（高频）应该用低 $\tau$（更快收敛）。这与 id=411 提到的注意力熵动态压缩率有关，但工具调用场景下还没有成熟的方案。

未解二：长程任务的累积方差是 $\sqrt{N}$ 还是线性？ §5 推论四假设两种情况都可能，但实际主导模式取决于工具调用的"自相关结构"——连续多步的工具选择是否共享隐变量。这个问题与 id=416 通信协议的形式化语义、id=400 多智能体博弈论的均衡协商有理论联系，但目前没有实证数据。

未解三：Fisher 信息度量在 $|\mathcal{A}| > 1000$ 时的可计算性？ 目前的 Fisher 矩阵近似算法在 $|\mathcal{A}| < 100$ 时是可行的，但当 $|\mathcal{A}| > 1000$（例如包含所有 API 端点）时，矩阵存储和求逆都成为瓶颈。这与 id=425 LLM 网关的多模型路由、id=406 MCP 协议的工具注册中心密切相关——大规模工具生态下，Fisher 流形需要稀疏近似或低秩分解。

这些未解问题不是本文的失败，而是这个研究方向的开放前沿。

九、给研究者与 SRE 的可观测性清单

给研究者：

1. 在工具调用训练日志中同时记录熵、Fisher 最大特征值、置信度方差三个指标——它们构成 phase diagram 的三轴。
2. 在推理时同时返回 top-3 工具的概率 + 速度比 + 累积方差——这些是诊断学的基础数据。
3. 把"工具选择分布的演化"作为可视化对象（参考 §3 的相图），而不是只看 loss 曲线。

给 SRE：

1. 把熵监控加入训练 dashboard，配置 5% / 20% 双阈值告警（项一）。
2. 把 p99 置信度方差加入推理监控，配置自动 fallback 触发（项三四）。
3. 每 7-14 天对比一次训练—推理 KL 散度，超过阈值触发 retraining 告警（项六）。
4. 长程 agent 任务（> 10 步）强制启用定期重置（项五），防止累积抖动。

一句话摘要：把工具选择形式化为分布流形上的动力学系统,刻画训练时熵塌缩相变与推理时不确定性几何,统一探索—利用与置信校准,给出 6 条可执行的工程诊断与可观测性建议。

参考文献

1. Wei, J., et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022.
2. Schick, T., et al. Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS 2023.
3. Yao, S., et al. ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023.
4. Qin, Y., et al. ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs. NeurIPS 2024.
5. Patil, S., et al. Gorilla: Large Language Model Connected with Massive APIs. NeurIPS 2024.
6. OpenAI. Function Calling and Other Structured Outputs Guide. 2024 Technical Report.
7. Anthropic. Tool Use (Function Calling) Best Practices. 2024 Engineering Blog.
8. Lin, B., et al. RA-DIT: Retrieval-Augmented Dual Instruction Tuning. ICLR 2024.
9. Asai, A., et al. Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. ICLR 2024.
10. Guo, C., et al. DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning. ICML 2024.
11. Song, Y., et al. Diffusion Language Models Are Versatile Token Learners. ICLR 2025.
12. Khot, T., et al. Decomposed Prompting: A Modular Approach for Solving Complex Tasks. ICLR 2023.
13. Suzgun, M., et al. Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them. ACL 2023.
14. Wang, X., et al. Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR 2023.