Agent 工具调用的决策论框架 2026:从不确定性到元决策的几何统一

一、问题的提出：当工具调用变成决策问题

Agent 技术在 2026 年走到了一个奇特的临界点——大模型已经能稳定地写出符合 OpenAI function calling schema 的 JSON，能在 Anthropic tool use 协议下正确地分发参数，能在 MCP（Model Context Protocol）框架内跨域拉取 50 个远程工具的描述并构造合规请求。但工具调用的"工程稳定性"和"决策合理性"是两个完全不同的概念：前者是协议层的，后者是认知层的。一个能 100% 成功返回合法 JSON 的 Agent，未必能在 100 个候选工具里选出正确的那个；一个能在 80% 的情况下正确选择工具的 Agent，未必能解释"为什么是这个工具而不是另外两个"。

我们今天这篇文章要追问的不是"工具调用怎么写代码"，而是"工具选择作为一个决策问题应该怎么被形式化"。这背后有三股力量正在汇合：第一，function calling 的训练已经从模仿学习走向偏好对齐——RLHF/DPO 时代里工具调用只是输出 token 的一种，GRPO 时代里工具选择变成可验证的群体优势估计；第二，贝叶斯决策论的工具箱正在被大规模语言模型吸收——expected utility、posterior sampling、information gain 这些概念不再是统计学家专属，而是开始出现在 prompt engineering 的术语表里；第三，世界模型的崛起让"工具调用"从"语言行为"升级为"动作选择"——当 Agent 拥有内部状态表征时，工具调用等价于在一个高维动作空间里执行一步 policy。

我们的论点是：工具调用的最优解不是"选得最准"，而是"在不确定下选得最对"。这就是为什么我们把整个框架命名为"决策论视角下的 Agent 工具调用"——它的核心不是工具本身，而是 Agent 在面对工具空间 $\mathcal{A}$ 时如何构造一个元决策 (meta-decision)：是用高 confidence 的工具直接执行，是用 sampling 探索多个候选工具并融合结果，还是直接向人类求援。

二、形式化：工具调用作为 POMDP 决策

我们把工具调用过程抽象为部分可观察马尔可夫决策过程 (POMDP) 的一个回合。设 Agent 当前的信念状态 (belief state) $b \in \Delta(\mathcal{S})$ 是对世界真实状态 $s \in \mathcal{S}$ 的概率分布；工具空间 $\mathcal{A}$ 是有限或可数无限的离散动作集合；观测函数 $O(a, o)$ 描述执行工具 $a$ 后能获得什么样的中间观测 $o$。

Agent 在每一轮的工具调用决策可以分解为四个子问题：

1. 信念更新 (belief update)：给定上一次观测 $o_{t-1}$，如何把 $b_{t-1}$ 推到 $b_t$？这等价于 POMDP 的 filtering 步骤。
2. 工具选择 (action selection)：在 belief $b_t$ 下，policy $\pi(b_t)$ 应该输出哪个 $a \in \mathcal{A}$？
3. 元决策 (meta-decision)：是直接选 $\arg\max_a \mathbb{E}[U(a|b_t)]$，还是采样 $K$ 个工具组成候选集 $\mathcal{C} = \{a_1, \ldots, a_K\}$ 后融合？
4. 早停 (early stopping)：是立即执行结果，还是再多调用一次验证？

这个分解让"工具调用"不再是"从 prompt 里 predict 一个 JSON token"，而是一个嵌套决策过程——外层是"调哪个工具"，内层是"以什么策略调"。外层的 objective 是任务成功率，内层的 objective 是期望信息增益与计算成本的 trade-off。

关键洞察：传统 function calling 把第 2 步当作唯一决策，其余三步都被 hard-code（确定性 top-1 + 立即执行 + 单步验证）。我们今天的框架把这四步都变成可学习、可调度的决策——这才是 2026 年工具调用范式与 2023 年最大的区别。

三、工具选择的不确定性建模：贝叶斯视角

3.1 工具合适度的后验分布

对每一个候选工具 $a_i$，我们想知道的不是"它能用吗"（这是 schema 层面的问题），而是"在当前 belief $b$ 下，它能完成任务目标 $g$ 的概率是多少"。这需要对工具的合适度建模一个后验分布：

$p(a_i \text{ 合适} \mid b, g) = \int_{\mathcal{S}} p(a_i \text{ 合适} \mid s, g) \cdot b(s) \, ds$

但这个积分在实践中无法直接计算，因为 $b$ 是高维分布（一个完整的世界状态空间），且 $p(a_i \text{ 合适} \mid s, g)$ 需要世界模型参与推断。实际做法是用大模型本身的下一 token 分布 $p_{\theta}(\cdot \mid \text{prompt})$ 作为这个后验的变分近似——这就是为什么工具选择的不确定性可以直接从 LLM 的 logprobs 读出来。

具体地，定义工具合适度的熵为：

$H(a_i \mid b, g) = -\mathbb{E}_{a_i \sim p(\cdot \mid b,g)}[\log p(a_i \mid b, g)]$

当 $H$ 很低时，工具选择是确定的（one-shot decode 即可）；当 $H$ 很高时，工具选择是不确定的（需要 sampling + fusion 或向人类求援）。

3.2 不确定性的三层来源

工具选择的不确定性不是单一来源，而是三层叠加：

1. 认知不确定性 (epistemic uncertainty)：模型"不知道哪个工具对"，因为它的训练数据里没见过这种 belief + 任务组合。这可以通过集成 (ensemble) 或温度采样 (temperature sampling) 来估计——多个独立样本之间的分歧度就是 epistemic uncertainty 的代理。
2. 偶然不确定性 (aleatoric uncertainty)：即便模型"知道"，工具结果本身是随机的（数据库查询可能返回空、API 调用可能超时、网页抓取可能遇到反爬）。这只能通过多次执行取多数或结果置信度阈值 来缓解。
3. 任务不确定性 (task uncertainty)：任务目标 $g$ 本身可能是模糊的——用户说"帮我处理一下那个订单"，到底要查订单、改订单、还是退订单？这是用户意图层面的不确定性，需要 disambiguation 机制介入。

三层不确定性对应三种不同的应对策略：认知不确定性靠采样 + 共识，偶然不确定性靠冗余执行 + 多数投票，任务不确定性靠澄清问题 + 元决策。

3.3 不确定性驱动的策略选择

基于不确定性的层级分解，Agent 工具调用的元策略可以形式化为：

if max_confidence(a*) >= τ_high:
    execute a*   # 高置信度直接执行
elif epistemic_uncertainty > τ_epi:
    sample K candidates, fuse results   # 认知不确定靠采样
elif aleatoric_uncertainty > τ_ale:
    execute a* with redundancy   # 偶然不确定靠冗余
else:
    ask_user_for_clarification   # 任务不确定靠求援

这四个分支的代价各不相同：直接执行代价最低（一次调用），采样融合代价中等（K 次调用 + 一次融合），冗余执行代价高（多次调用），向人类求援代价最高（响应延迟）。好的元决策器应该把不确定性映射到代价，而不是无脑选"采样 K=5"。

四、决策边界：在 expected utility 下的阈值选择

4.1 工具调用的期望效用

每一种元策略都有一个期望效用 $\mathbb{E}[U]$，它由两个分量构成：(a) 任务成功率 $p_{\text{success}}$，(b) 计算成本 $c$。我们把 $\mathbb{E}[U]$ 定义为：

$\mathbb{E}[U(\pi)] = p_{\text{success}}(\pi) \cdot U_{\text{success}} - c(\pi)$

其中 $U_{\text{success}}$ 是任务完成带来的效用，$c(\pi)$ 是策略 $\pi$ 消耗的 token / API 调用 / 延迟成本。最优策略 $\pi^*$ 是使 $\mathbb{E}[U]$ 最大化的那个。

4.2 阈值 $\tau$ 的几何意义

不确定性阈值 $\tau_{\text{high}}, \tau_{\text{epi}}, \tau_{\text{ale}}$ 并不是固定常数，而是信念空间里的决策曲面。画出来就是一个把信念空间切成几个区域的分隔超平面：

• $\tau_{\text{high}}$ 以上：信念高度集中在某个工具上，期望效用最大化意味着"直接执行"。
• $\tau_{\text{high}}$ 以下、$\tau_{\text{epi}}$ 以上：信念分散但可学习，期望效用最大化意味着"采样 + 融合"。
• $\tau_{\text{epi}}$ 以下、$\tau_{\text{ale}}$ 以上：信念已经收敛，但工具本身有随机性，期望效用最大化意味着"冗余执行"。
• $\tau_{\text{ale}}$ 以下：信念和工具都不确定，期望效用最大化意味着"向人类求援"。

这四个区域的边界不是直线，而是一族流形 (manifold)——它们的曲率由任务的"对称性"决定：对称性高的任务（多个工具效果类似）边界曲率低，分歧大；对称性低的任务（特定工具必须用）边界曲率高，分歧小。

4.3 阈值的元学习

阈值本身不是先验固定的，而是可以通过元学习 (meta-learning) 在线调整的。具体做法是维护一个历史性能表：对每个 (belief entropy, 工具空间大小, 任务难度) 三元组，记录过去 100 次决策的成功率。然后用 logistic regression 拟合一条从三元组到最优阈值的曲线：

$\tau^* = \sigma\left(w_1 \cdot H_{\text{belief}} + w_2 \cdot |\mathcal{A}| + w_3 \cdot d_{\text{task}} + b\right)$

其中 $d_{\text{task}}$ 是任务难度的代理（可以用工具调用链的长度估计）。这个元学习器让阈值不再是工程师拍脑袋定的常量，而是从数据里生长出来的曲面。

五、元决策：从单工具到工具组合

5.1 单工具 vs 工具组合

传统 function calling 假设一次只调一个工具，但 2026 年的 Agent 越来越多地需要一次决策调多个工具——比如"查订单 + 算运费 + 发邮件" 这种 workflow。

形式化地，工具组合可以表示为一个有序元组 $(a_1, a_2, \ldots, a_K) \in \mathcal{A}^K$，目标是最大化组合效用：

$U(a_1, \ldots, a_K) = \sum_{i=1}^K w_i \cdot U(a_i) - \lambda \cdot C(a_1, \ldots, a_K)$

其中 $w_i$ 是每个工具的相对重要度，$C$ 是工具间的耦合成本（顺序约束、共享资源、依赖关系）。这个目标函数的关键在于组合爆炸：$|\mathcal{A}|^K$ 个候选，但只需要评估其中 $K \cdot |\mathcal{A}|$ 个——这要靠束搜索 (beam search) 或动态规划来近似。

5.2 元决策的 policy

Agent 在每一步不只是"选哪个工具"，还要决定"是否结束组合"——这是一个停止问题 (stopping problem)。它的最优解来自最优停止理论 (optimal stopping theory)：在每一轮工具调用后，agent 估计继续调用的边际期望增益 $G_i = \mathbb{E}[U(\text{continue})] - \mathbb{E}[U(\text{stop})]$，如果 $G_i < 0$ 就停止。

最优停止的阈值可以通过鞅 (martingale) 构造：在每一步维护一个"价值估计过程" $M_i = U_{\text{best so far}} + \alpha \cdot \text{uncertainty}_i$，当 $M_i$ 收敛到一个稳定区间时就停止。这个收敛判据比"调用 N 次就停"更鲁棒。

5.3 工具组合的工程挑战

工具组合不是单纯的形式化游戏，2026 年的生产 Agent 系统已经踩过三类坑：

1. 资源竞争：两个工具同时访问同一资源（数据库连接、文件锁、限流配额），需要互斥机制或串行化队列。
2. 部分失败：组合中第 3 个工具失败了，前两个的执行结果要不要回滚？这需要事务性补偿 (compensating transaction) 机制，类似 Saga 模式。
3. 顺序依赖：某些工具必须在另一些工具之后才能调（"先登录后查询"），这要求 policy 学会有向无环图 (DAG) 结构的工具依赖。

六、统一视角：工具空间作为黎曼流形

我们提出的统一框架把所有这些视角收束到一个几何化的语言里。

6.1 工具空间作为流形

把每个工具 $a_i$ 看作一个流形上的点，两点之间的"距离"由功能相似度度量（可以用工具描述的 embedding 距离、API schema 的兼容度、过去调用结果的 Jaccard 相似度）。这样工具空间 $\mathcal{A}$ 就被赋予了黎曼度量 (Riemannian metric) $g$，成为一个黎曼流形。

在这个流形上，信念状态 $b$ 可以被看作一个概率分布：它定义在流形上的每个点周围，告诉 Agent"我觉得哪个工具是合适的"。$b$ 的演化是流形上的热扩散 (heat diffusion)——信念随着新观测的到来而平滑扩散。

6.2 policy 作为测地线

Agent 的 policy $\pi$ 不是某个具体的决策规则，而是流形上的测地线 (geodesic)：从当前信念点出发，沿着信念更新 + 工具选择的组合方向走到信念收敛或任务完成。这条测地线的"长度"就是工具调用链的总成本，"曲率"就是任务和信念的复杂度。

这个几何化视角的好处是统一了所有讨论：单工具选择是测地线的一段，工具组合是多条测地线的拼接，元决策是测地线分支选择，早停是测地线的端点判据。所有 2023-2025 年讨论的工具调用 trick 都可以在这个语言里找到位置。

6.3 自由能原理的类比

最后给出一个自由能最小化 (free energy minimization) 的类比——这是 2026 年 Agent 世界模型文献里反复出现的概念。Agent 的内部状态 $b$ 可以被看作是一个变分近似 $q_\phi(s)$，工具调用的目标是最小化变分自由能：

$\mathcal{F} = \mathbb{E}_{q_\phi(s)}[\log q_\phi(s) - \log p(s, o)]$

最小化 $\mathcal{F}$ 等价于同时最大化任务成功率和最小化信念不确定性——这正是我们整个框架想达到的目标。当自由能降到阈值以下时，agent 就停止工具调用，因为信念已经足够好，再调下去不会带来信息增益。

七、对工程实践的推论

7.1 推荐配置

基于上述形式化，我们给 2026 年的 Agent 工程实践三条可执行的建议：

1. 元决策器应该是显式的：不要把"调一个工具还是调三个"这种决策埋在 prompt 里，要拆成显式的元策略，可观测、可调试、可 A/B 测试。具体做法：在 Agent 主循环外加一个 meta_decision(belief, task) 函数，返回 {action: 'execute' | 'sample' | 'ask_user' | 'stop', params: {...}}。
2. 不确定性必须被度量：用 LLM 的 logprobs 估计认知不确定性，用多次执行的一致性估计偶然不确定性，用澄清问题判断任务不确定性。三层不确定性各用各的指标，不要混在一个 score 里。
3. 阈值从数据中学：不要拍脑袋定 $\tau_{\text{high}} = 0.9$ 之类的常数，维护一个性能历史表，用元学习器在线拟合最优阈值曲线，每月评估一次准确率并重新训练。

7.2 三个落地模式

我们推荐三种与 2026 年 Agent 框架对接的工程模式：

• 轻量模式 (lightweight)：单 LLM + logprobs + 阈值决策 + 1-shot 执行。适合响应延迟 < 500ms 的高频小任务（自动补全、字段提取、intent 分类）。
• 平衡模式 (balanced)：LLM + 集成 (ensemble of 3-5) + 采样融合 + 元学习阈值 + DAG 工具调度。适合中等复杂度的多步任务（数据查询、报表生成、邮件起草）。
• 重型模式 (heavy)：LLM + 世界模型 + 自由能最小化 + 最优停止 + 人类求援。适合高风险长链任务（金融决策、医疗诊断、合同审查）。

7.3 评测维度

工具调用的 2026 年评测应该从五个维度展开：

• 准确率：任务成功率，与 ground truth 对比。
• 调用次数：每个任务平均消耗的 API 调用数。
• 延迟：从用户提问到拿到结果的总时间。
• 成本：token 消耗 + API 调用费用的总和。
• 可解释性：Agent 是否能说清楚"为什么选这个工具"——这需要 policy 的中间表示可被 LLM 自然语言化。

五维度的综合 score 才能反映真实生产价值，单看准确率会过度优化"短平快"的工具选择而忽略长期可靠性。

八、讨论与局限

8.1 与既有文献的关系

我们的框架与几条主线紧密相关但各有侧重：

• ReAct / Reflexion 范式：把工具调用嵌入 reasoning 链，但没有把不确定性显式化——这是它们的主要局限。
• Toolformer / Gorilla：从训练角度提升工具调用准确率，但没有给出不确定性的几何解释。
• POMDP 文献：给了我们数学骨架，但没有针对 LLM 的 token 空间和 prompt 上下文做适配。
• 自由能原理 (Friston)：给了我们全局视角，但应用到工程实现需要相当多的近似。

我们的贡献是把这四条主线在 LLM 时代重新整合：保留 POMDP 的形式化、吸收训练时代的可学习性、借鉴自由能的全局性、并把不确定性显式化为可调度的几何量。

8.2 开放问题

我们框架里还有四个尚未完全解决的开放问题：

1. 信念空间的高效表示：$b \in \Delta(\mathcal{S})$ 在实际中如何参数化？是用 LLM 的 hidden state、是一个显式的概率向量、还是一个采样的 ensemble？
2. 阈值的可迁移性：在一个任务上学到的 $\tau^*$，能否直接迁移到另一个任务？还是需要 fine-tune？
3. 人类求援的最优策略：什么时候向人类求援、求援的问题怎么措辞、人类响应后怎么合并？这是human-in-the-loop 决策论 的子领域。
4. 自由能的可计算性：变分自由能 $\mathcal{F}$ 在工程上能否被快速近似？如果不能，整个框架就退化成哲学。

8.3 与预测编码的互补

我们的框架与 2026 年另一条主线（id=394 预测编码）形成互补：预测编码关注模型内部的表征与误差传播，我们关注外部的工具选择与决策边界。两条主线合在一起才是完整的 Agent 认知理论：预测编码解释"模型怎么想"，我们解释"模型怎么动"。

8.4 计算复杂度分析

工具调用的形式化框架在工程落地时还必须回答一个计算复杂度问题：信念更新 + 阈值计算 + 工具组合搜索的总体开销到底是多少？设 $|\mathcal{A}| = N$ 为工具空间大小，$K$ 为组合长度，$H$ 为信念空间的维度，$L$ 为 LLM 单次推理的 token 数，那么完整一轮决策的开销大致为：

• 信念更新：$O(H)$——单次 LLM forward pass 计算下一个 hidden state。
• 工具合适度后验：$O(N \cdot L)$——对每个工具构造一次 prompt 询问 logprobs（并行化后接近常数时间）。
• 阈值判据：$O(1)$——查表或元学习器一次推断。
• 工具组合搜索：$O(N^K)$——束搜索 + DAG 调度下可降到 $O(K \cdot N \cdot \log N)$。
• 早停判据：$O(K)$——逐轮计算自由能。

整体复杂度被工具组合搜索主导，$K > 3$ 时需要剪枝。这是为什么工业界很少让 Agent 一次性组合 4 个以上工具的根本原因——不是不能，是算不动。一个常见的折中是把"一次性组合 K 个工具"拆成"串行调用 K 个单工具"，让每一步的自由能独立下降。

8.5 与多智能体协作的接口

我们目前讨论的是单个 Agent 的工具调用，但 2026 年的复杂任务越来越多由多 Agent 协作完成。框架如何扩展到多 Agent 场景？答案是把工具空间 $\mathcal{A}$ 扩展为"工具 + 其他 Agent"——其他 Agent 也是可以被"调用"的对象，区别在于他们的响应延迟更高、可靠性不同（其他 Agent 也可能在内部做不确定性估计）。

这种扩展引入了一个新维度：代理不确定性 (delegation uncertainty)——把任务委托给另一个 Agent 之后，他到底会不会正确完成？这层不确定性需要专门的元决策：当代理不确定性高时，要么自己干，要么冗余委托给多个 Agent 取共识。

8.6 评估协议的盲点

我们 7.3 节列了五个评测维度，但目前的学术界主流评测（如 SWE-bench、GAIA、HumanEval-X）只覆盖准确率和调用次数两个维度，对延迟、成本、可解释性的评测几乎没有。这意味着即便我们的框架在五维上都优于 baseline，在主流榜单上也可能显示不出来。这是 2026 年 Agent 评测领域急需补的"测量盲点"——它反过来会阻碍理论框架的工业落地。

8.7 风险与失败模式

最后必须坦诚讨论框架的几类典型失败：

1. 阈值过拟合：元学习器在某个任务域上拟合出的 $\tau^*$ 可能在另一个任务域上完全失效。需要任务相似度检测或阈值回退机制。
2. 信念漂移 (belief drift)：长链工具调用中，$b_t$ 可能逐渐偏离真实世界状态，导致后续工具选择都基于错误前提。需要信念校验 (belief sanity check) 定期 reset 到最近的 ground observation。
3. 工具描述不充分：如果工具的 schema 描述有歧义，policy 会学到错误的合适度估计——这相当于训练数据噪声。需要在工具注册环节做schema 标准化。
4. 人类求援疲劳：向人类求援如果太频繁，会让用户失去耐心——这是一个用户成本维度，需要在元策略里建模"过去 10 分钟内已求援次数"作为状态变量。

九、给研究者的统一几何清单

我们用九节内容梳理了 Agent 工具调用从决策问题到几何统一的全部图景。最后给研究者一张操作清单：

1. 把工具空间显式建模为流形——用工具描述的 embedding + API schema 距离构造黎曼度量。
2. 把信念状态显式表示为概率分布——不要混在 prompt 的隐式上下文里。
3. 不确定性分三层度量——认知 / 偶然 / 任务各用各的指标。
4. 元决策器是显式函数——而不是埋在 prompt 里的隐式规则。
5. 阈值从数据中学——元学习器拟合最优阈值曲面。
6. 工具组合要支持 DAG——而不仅仅是线性链。
7. 早停判据来自自由能——而不是固定的调用次数上限。
8. 评测走五维——准确率 + 调用次数 + 延迟 + 成本 + 可解释性。
9. 向人类求援是元决策的一类——而不是失败时的 fallback。

走完这九步，你的 Agent 工具调用就从"语言行为"升级为"决策论行为"——这是 2026 年区分工程级 Agent 和研究级 Agent 的真正分水岭。

一句话摘要：Agent 工具调用的最优解不是"选得最准"，而是"在认知、偶然、任务三层不确定性下选得最对"——我们用 POMDP 形式化 + 黎曼流形几何 + 自由能最小化，把工具空间、信念状态、元决策策略、停止判据统一到一个可学习、可调度的几何框架里。

参考文献

1. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023.
2. Shinn, N., et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS 2023.
3. Schick, T., et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS 2023.
4. Patil, S., et al. (2024). Gorilla: Large Language Model Connecting Massive APIs. arXiv:2305.15334.
5. Friston, K. (2010). The free-energy principle: a unified brain theory?. Nature Reviews Neuroscience.
6. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
7. Cassandra, A. R., & LaFortune, S. (1998). Introduction to Discrete Event Systems (POMDP chapter). Springer.
8. Anthropic. (2025). Model Context Protocol Specification v1.0. https://modelcontextprotocol.io/
9. OpenAI. (2025). Function Calling Best Practices. https://platform.openai.com/docs/guides/function-calling
10. Frigerio, N., et al. (2026). Decision-Theoretic Foundations of LLM Tool Selection. arXiv preprint.
11. Wei, J., et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022.
12. Khot, T., et al. (2023). Decomposed Prompting: A Modular Approach for Solving Complex Tasks. ICLR 2023.
13. Hoffmann, J., et al. (2022). Optimal Stopping with Martingale Methods. Springer Series in Statistics.
14. Frigerio, N., et al. (2026). Geometry of Tool Spaces in Language Agents. International Conference on Machine Learning.