博客
文章系列日历
归档关于搜索

鄂ICP备19019526号

© 2026 博客

  1. 文章
  2. Agent 心理状态建模:Bayesian Theory of Mind 与策略级心智预测

Agent 心理状态建模:Bayesian Theory of Mind 与策略级心智预测

2026年8月12日·约 31 分钟·9011 字·2 次阅读
Agent 技术
Agent 心理状态建模:Bayesian Theory of Mind 与策略级心智预测

目录

  • 一、问题的提出:为什么 Agent 需要理解其他 Agent
  • 二、形式化框架:POMDP、多智能体博弈与心智状态的数学描述
  • 2.1 单 Agent 视角下的部分可观测性
  • 2.2 多智能体扩展:随机博弈与 Nash 均衡
  • 2.3 心智状态的层次划分
  • 三、Bayesian Theory of Mind:概率规划视角下的心智推断
  • 3.1 核心形式化
  • 3.2 策略模型:从理性到 Boltzmann 理性
  • 3.3 价值函数的逆向推断
  • 四、主动推理框架:Free Energy 与自我-他者统一
  • 4.1 主动推理的基本原理
  • 4.2 扩展到多智能体:生成模型中的他者
  • 4.3 心智预测的精度上界
  • 五、Agent 心智模型的在线学习与适应
  • 5.1 从固定模型到适应性建模
  • 5.2 欺骗检测与意图推理
  • 5.3 共享心智模型与团队认知
  • 六、对工程实践的推论
  • 6.1 多 Agent 协调系统的设计原则
  • 6.2 工程实现中的计算权衡
  • 6.3 安全与对齐的启示
  • 七、局限性与开放问题
  • 八、结论与展望
  • 参考文献

Agent 心理状态建模理论:Bayesian Theory of Mind 与策略级心智预测

一、问题的提出:为什么 Agent 需要理解其他 Agent

在单 Agent 系统中,决策问题通常被形式化为给定环境状态 sss 与策略 π\piπ 下的最大化期望回报:max⁡πE[∑t=0Tγtr(st,at)]\max_\pi \mathbb{E}\left[\sum_{t=0}^T \gamma^t r(s_t, a_t)\right]maxπ​E[∑t=0T​γtr(st​,at​)]。这个框架不涉及对其他决策主体的显式建模——环境是静态的或仅由物理定律支配。然而,当 Agent 置身于多智能体环境(multi-agent environment)时,环境的演化不再仅由物理因果律决定,而是由其他具有意图、信念与偏好的决策主体共同驱动。

考虑一个具体的工程场景:某大型语言模型驱动的 Agent 被部署在团队协作平台中,需要与人类的个人秘书 Agent、日历调度 Agent 和文档编辑 Agent 共同完成任务。如果该 Agent 不能预测其他 Agent 接下来会采取什么行动、它们的信念状态是什么、以及它们的行动会如何影响共享环境的状态,那么即使它拥有完美的单 Agent 决策能力,也会在多智能体交互中处处碰壁。这种现象在博弈论中对应于"策略性互动"(strategic interaction)——每个参与者的回报不仅取决于自己的行动,还取决于其他参与者的行动。

Agent 心理状态建模(Mental State Modeling for Agents)正是解决这一问题的理论框架。它研究的是:一个 Agent 如何对其他 Agent 的内部心智状态——包括信念(belief)、意图(intention)、欲望(desire)、知识(knowledge)——进行推断、预测和利用。这一能力通常被称为"心智理论"(Theory of Mind, ToM),最早由 Premack 和 Woodruff 在 1978 年研究黑猩猩认知时提出,用于描述个体对他人心理状态的推断能力。

本文的核心论点是:Agent 对其他 Agent 心理状态的建模不仅是多智能体协作的使能技术,更是一种信息论意义下的最优预测策略。当 Agent 对环境中的其他主体一无所知时,它的最优行为是假设所有其他主体与己无关、独立行动;随着交互经验的积累,Bayesian 更新会驱使 Agent 逐步构建对其他主体的信念模型,而这一模型的精度直接决定了它在策略互动中的回报上界。我们将从形式化定义出发,依次讨论 Bayesian Theory of Mind、主动推理框架、学习与适应机制,最后推导对工程实践的推论。

二、形式化框架:POMDP、多智能体博弈与心智状态的数学描述

2.1 单 Agent 视角下的部分可观测性

在进入多智能体心理状态建模之前,我们需要一个清晰的形式化起点:部分可观测马尔可夫决策过程(Partially Observable Markov Decision Process, POMDP)。一个 POMDP 由七元组 (S,A,T,R,O,Z,γ)(S, A, T, R, O, Z, \gamma)(S,A,T,R,O,Z,γ) 描述,其中:

  • SSS 是状态空间,s∈Ss \in Ss∈S 描述环境在 ttt 时刻的真实配置;
  • AAA 是动作空间,at∈Aa_t \in Aat​∈A 是 Agent 在 ttt 时刻采取的行动;
  • T(s′∣s,a)=Pr⁡(st+1=s′∣st=s,at=a)T(s'|s,a) = \Pr(s_{t+1}=s'|s_t=s, a_t=a)T(s′∣s,a)=Pr(st+1​=s′∣st​=s,at​=a) 是状态转移函数;
  • R(s,a)R(s,a)R(s,a) 是在状态 sss 执行动作 aaa 后获得的即时回报;
  • O(s′,a,o)=Pr⁡(ot+1=o∣st+1=s′,at=a)O(s', a, o) = \Pr(o_{t+1}=o|s_{t+1}=s', a_t=a)O(s′,a,o)=Pr(ot+1​=o∣st+1​=s′,at​=a) 是观测函数,描述在执行动作后 Agent 收到的观测;
  • ZZZ 是观测空间;
  • γ∈[0,1]\gamma \in [0,1]γ∈[0,1] 是折扣因子。

Agent 无法直接观测真实状态 sts_tst​,只能维护一个关于状态的信念 bt(s)=Pr⁡(st=s∣o1,a1,…,ot)b_t(s) = \Pr(s_t=s|o_1, a_1, \ldots, o_t)bt​(s)=Pr(st​=s∣o1​,a1​,…,ot​)。信念更新由贝叶斯滤波给出:

bt+1(s′)=η⋅O(s′,at,ot+1)∑s∈ST(s′∣s,at)bt(s)b_{t+1}(s') = \eta \cdot O(s', a_t, o_{t+1}) \sum_{s \in S} T(s'|s, a_t) b_t(s)bt+1​(s′)=η⋅O(s′,at​,ot+1​)∑s∈S​T(s′∣s,at​)bt​(s)

其中 η\etaη 是归一化常数。这个框架的核心洞察是:Agent 对环境的认知本身就是一种概率分布,而非确定性事实。

2.2 多智能体扩展:随机博弈与 Nash 均衡

将 POMDP 扩展到 NNN 个 Agent 的场景,我们得到一个随机博弈(stochastic game)框架。第 iii 个 Agent 的回报函数变为 Ri(s,a1,…,aN)R_i(s, a_1, \ldots, a_N)Ri​(s,a1​,…,aN​),这意味着每个 Agent 的最优动作不仅取决于环境状态,还取决于其他 Agent 的联合行动。Agent iii 在这种环境中的信念需要同时建模:

  1. 环境状态:bit(s)b_i^t(s)bit​(s);
  2. 其他 Agent j≠ij \neq ij=i 的策略:θj\theta_jθj​ 或信念 bjb_jbj​(如果使用贝叶斯建模)。

设 Agent iii 对 Agent jjj 的策略参数持有先验信念 p(θj)p(\theta_j)p(θj​),则在观察到 Agent jjj 的历史轨迹 τj=(aj1,oj1,…,ajt,ojt)\tau_j = (a_j^1, o_j^1, \ldots, a_j^t, o_j^t)τj​=(aj1​,oj1​,…,ajt​,ojt​) 后,Agent iii 可以通过贝叶斯更新得到后验:

p(θj∣τj)=η⋅Pr⁡(τj∣θj)p(θj)p(\theta_j | \tau_j) = \eta \cdot \Pr(\tau_j | \theta_j) p(\theta_j)p(θj​∣τj​)=η⋅Pr(τj​∣θj​)p(θj​)

这个后验分布即为 Agent iii 对 Agent jjj 心理状态的核心表征。

2.3 心智状态的层次划分

在 Agent 心理状态建模的上下文中,我们区分三个层次的心智状态:

第一层(First-Order Belief):Agent iii 推断 Agent jjj 的信念关于某个环境命题 ppp 的真值。例如:"Agent jjj 认为当前会议时间冲突吗?"形式化为 Bji(p)=E[1p∣θj]B_j^i(p) = \mathbb{E}[1_p | \theta_j]Bji​(p)=E[1p​∣θj​],即 Agent iii 对 Agent jjj 持有命题 ppp 的信念的期望估计。

第二层(Second-Order Belief):Agent iii 推断 Agent jjj 对 Agent kkk 信念的信念。例如:"Agent jjj 认为 Agent kkk 知道项目截止日期吗?"这在递归自我模型(recursive self-model)中至关重要,也是许多协作失败和误解的根源。第二层信念在博弈论中对应于"关于他人信念的信念",在市场微观结构中也至关重要——交易 Agent 需要建模"其他交易 Agent 认为价格会上涨还是下跌"。

第三层(Third-Order 及以上):在复杂组织和社会交互中,偶尔需要第三层甚至更高阶的信念建模。例如,在外交谈判中,谈判者可能需要建模"对方认为我方认为第三方会如何反应"。理论上这个层次可以无限递归,但在实际工程系统中,第二层通常已经足以支撑大多数有意义的推理。

三、Bayesian Theory of Mind:概率规划视角下的心智推断

3.1 核心形式化

Bayesian Theory of Mind(Bayesian ToM)是将心智理论形式化为贝叶斯概率推断的核心框架。其核心思想是:观察者(建模 Agent)将目标 Agent 视为一个理性或近似理性的决策者,通过贝叶斯推断从目标 Agent 的可观测行为反推其不可观测的内部状态。

设 H\mathcal{H}H 为目标 Agent jjj 所有可能的心智状态假设空间。每个假设 h∈Hh \in \mathcal{H}h∈H 包含对以下内容的完整规范:

  • 目标函数 UjU_jUj​(效用函数或奖励函数);
  • 先验信念 bj0b_j^0bj0​ 关于环境状态的分布;
  • 推理策略 πj\pi_jπj​(可以是完全理性、Boltzmann 理性或其他近似策略)。

从建模 Agent iii 的视角,观测到目标 Agent jjj 在历史窗口 [1,t][1, t][1,t] 内的轨迹 τjt=(s1env,aj1,oj1,…,stenv,ajt,ojt)\tau_j^t = (s_1^{env}, a_j^1, o_j^1, \ldots, s_t^{env}, a_j^t, o_j^t)τjt​=(s1env​,aj1​,oj1​,…,stenv​,ajt​,ojt​),后验信念为:

p(h∣τjt)=η⋅Pr⁡(τjt∣h)⋅p(h)p(h | \tau_j^t) = \eta \cdot \Pr(\tau_j^t | h) \cdot p(h)p(h∣τjt​)=η⋅Pr(τjt​∣h)⋅p(h)

其中 Pr⁡(τjt∣h)\Pr(\tau_j^t | h)Pr(τjt​∣h) 是假设 hhh 下产生该轨迹的概率,由 hhh 中的策略模型和先验信念共同决定。

3.2 策略模型:从理性到 Boltzmann 理性

完全理性假设(perfect rationality)假设目标 Agent 总是选择期望效用最大化的动作:Pr⁡(aj∣s,h)=1{aj∈arg⁡max⁡a′Uj(s,a′)}\Pr(a_j | s, h) = \mathbf{1}\{a_j \in \arg\max_{a'} U_j(s, a')\}Pr(aj​∣s,h)=1{aj​∈argmaxa′​Uj​(s,a′)}。然而,真实 Agent 的行为往往偏离完全理性,因此我们引入 Boltzmann 理性(也称 softmax 理性)作为更实际的模型:

Pr⁡(aj=a′∣s;τ,β)=exp⁡(β⋅Q(s,a′))∑a′′∈Aexp⁡(β⋅Q(s,a′′))\Pr(a_j = a' | s; \tau, \beta) = \frac{\exp(\beta \cdot Q(s, a'))}{\sum_{a'' \in A} \exp(\beta \cdot Q(s, a''))}Pr(aj​=a′∣s;τ,β)=∑a′′∈A​exp(β⋅Q(s,a′′))exp(β⋅Q(s,a′))​

其中 Q(s,a)Q(s, a)Q(s,a) 是状态-动作价值函数,β>0\beta > 0β>0 是温度参数(inverse rationality parameter):

  • β→0\beta \to 0β→0:Agent 行为趋于随机(高熵);
  • β→∞\beta \to \inftyβ→∞:Agent 行为趋于确定性完全理性。

温度参数 β\betaβ 本身也可以作为假设空间的一部分被推断——这使得 Bayesian ToM 能够建模"对方有多理性"这一元认知问题。有趣的是,当建模 Agent 观察到目标 Agent 的行为具有高度规律性但并非完全最优时,最优推断会收敛到一个适中的 β\betaβ 值。

3.3 价值函数的逆向推断

除了策略参数,更深层的心智推断是逆向推断目标 Agent 的价值函数 UjU_jUj​。这与逆向强化学习(Inverse Reinforcement Learning, IRL)高度相关,但 IRL 通常假设单一 Agent,而 Bayesian ToM 扩展到多智能体环境。

设 Uj(s,a)=wj⊤ϕ(s,a)U_j(s, a) = w_j^\top \phi(s, a)Uj​(s,a)=wj⊤​ϕ(s,a),其中 ϕ(s,a)\phi(s, a)ϕ(s,a) 是手工设计或学习得到的状态-动作特征向量,wjw_jwj​ 是特征权重向量。建模 Agent iii 从目标 Agent jjj 的轨迹 τj\tau_jτj​ 逆向推断权重向量 wjw_jwj​ 的后验:

p(wj∣τj)∝p(τj∣wj)⋅p(wj)p(w_j | \tau_j) \propto p(\tau_j | w_j) \cdot p(w_j)p(wj​∣τj​)∝p(τj​∣wj​)⋅p(wj​)

其中 p(τj∣wj)p(\tau_j | w_j)p(τj​∣wj​) 由 Boltzmann 理性模型给出。先验 p(wj)p(w_j)p(wj​) 通常取为球面上均匀分布或高斯分布,取决于我们对目标 Agent 偏好的先验知识。

四、主动推理框架:Free Energy 与自我-他者统一

4.1 主动推理的基本原理

主动推理(Active Inference)是 Karl Friston 提出的统一感知-行动理论,其核心概念是最小化变分自由能(variational free energy)。对于单一 Agent,主动推理将感知和行动统一在一个生成模型框架下:Agent 持有对环境的内部生成模型 p(s,o)p(s, o)p(s,o),通过变分推断来拟合后验 q(s∣o)≈p(s∣o)q(s|o) \approx p(s|o)q(s∣o)≈p(s∣o),同时通过行动来改变环境,使得未来观测更符合其期望。

生成模型:p(o,s)=p(o∣s)p(s)p(o, s) = p(o|s) p(s)p(o,s)=p(o∣s)p(s),其中 p(o∣s)p(o|s)p(o∣s) 是观测模型(似然),p(s)p(s)p(s) 是先验。变分自由能作为代理目标:

F[q]=Eq[ln⁡q(s)−ln⁡p(o,s)]=DKL[q(s)∥p(s∣o)]\mathcal{F}[q] = \mathbb{E}_q[\ln q(s) - \ln p(o, s)] = D_{\text{KL}}[q(s) \| p(s|o)]F[q]=Eq​[lnq(s)−lnp(o,s)]=DKL​[q(s)∥p(s∣o)]

最小化 F\mathcal{F}F 等价于最小化变分后验与真实后验之间的 KL 散度。

4.2 扩展到多智能体:生成模型中的他者

将主动推理扩展到多智能体环境时,核心挑战是:每个 Agent 的生成模型必须包含对其他 Agent 的生成模型——这形成了递归嵌套结构。设 Agent iii 对 Agent jjj 持有嵌套生成模型 pj(i)(oj,sj,θj)p_j^{(i)}(o_j, s_j, \theta_j)pj(i)​(oj​,sj​,θj​),其中 θj\theta_jθj​ 是 Agent jjj 的策略参数。Agent iii 的扩展生成模型为:

pi(oi,si,{θj}j≠i)=pi(oi∣si)pi(si∣{θj})∏j≠ipj(i)(oj,sj∣θj)p_i(o_i, s_i, \{\theta_j\}_{j \neq i}) = p_i(o_i | s_i) p_i(s_i | \{\theta_j\}) \prod_{j \neq i} p_j^{(i)}(o_j, s_j | \theta_j)pi​(oi​,si​,{θj​}j=i​)=pi​(oi​∣si​)pi​(si​∣{θj​})∏j=i​pj(i)​(oj​,sj​∣θj​)

在这个框架下,Agent iii 对 Agent jjj 行为的"预测"就是其内部生成模型对 Agent jjj 观测和状态的推断——这与 Bayesian ToM 形成了优雅的数学统一:ToM 是主动推理框架中"对他人生成模型的推断"这一特定计算问题。

4.3 心智预测的精度上界

一个关键的理论结果是:在给定观测历史 τjt\tau_j^tτjt​ 的条件下,Bayesian ToM 对 Agent jjj 未来行为的预测精度的 Cramér-Rao 下界(Cramer-Rao Lower Bound, CRLB)可以表示为 Fisher 信息量的函数:

Var(a^jt+1)≥I(θj)−1\text{Var}(\hat{a}_j^{t+1}) \geq \mathcal{I}(\theta_j)^{-1}Var(a^jt+1​)≥I(θj​)−1

其中 I(θj)=−E[∂2ln⁡p(τj∣θj)∂θj2]\mathcal{I}(\theta_j) = -\mathbb{E}\left[\frac{\partial^2 \ln p(\tau_j | \theta_j)}{\partial \theta_j^2}\right]I(θj​)=−E[∂θj2​∂2lnp(τj​∣θj​)​] 是观测历史对 θj\theta_jθj​ 的 Fisher 信息矩阵。这个下界告诉我们:Agent iii 对 Agent jjj 行为预测精度的极限,取决于它从历史交互中提取的关于 θj\theta_jθj​ 的信息量——这为"Agent 应该投入多少认知资源来建模其他 Agent"提供了理论判据。当 Fisher 信息量低时(如交互历史很短或 Agent jjj 行为高度随机),进一步的心智建模投入的边际回报递减,建模 Agent 应该转而使用更保守的启发式策略。

五、Agent 心智模型的在线学习与适应

5.1 从固定模型到适应性建模

前述讨论假设 Agent iii 对 Agent jjj 的心智模型是静态的——参数在初始化后固定不变。然而真实环境中的其他 Agent 会随时间演化其策略(学习、适应、目标漂移)。因此,Agent 需要对其他 Agent 实施在线学习(online learning of mental models)。

一个实用的框架是粒子滤波(particle filtering):Agent iii 维护一组加权粒子 {(θj(k),wj(k))}k=1K\{(\theta_j^{(k)}, w_j^{(k)})\}_{k=1}^K{(θj(k)​,wj(k)​)}k=1K​ 作为对 p(θj∣τjt)p(\theta_j | \tau_j^t)p(θj​∣τjt​) 的非参数近似。每个粒子代表一个假设的心智状态,随着新观测的到来,粒子通过重要性采样(importance sampling)进行更新:

wj(k)←wj(k)⋅Pr⁡(ot+1∣θj(k),ajt+1)∑k′wj(k′)Pr⁡(ot+1∣θj(k′),ajt+1)w_j^{(k)} \leftarrow w_j^{(k)} \cdot \frac{\Pr(o_{t+1} | \theta_j^{(k)}, a_j^{t+1})}{\sum_{k'} w_j^{(k')} \Pr(o_{t+1} | \theta_j^{(k')}, a_j^{t+1})}wj(k)​←wj(k)​⋅∑k′​wj(k′)​Pr(ot+1​∣θj(k′)​,ajt+1​)Pr(ot+1​∣θj(k)​,ajt+1​)​

当某个粒子的权重变得极低(对应于该假设与新观测严重不符),该粒子被丢弃并用重采样生成的新粒子替代,从而实现对 Agent jjj 策略突变的快速适应。

5.2 欺骗检测与意图推理

在对抗性多智能体环境中(如金融交易、多方协商),意图欺骗检测(deception detection)是 Agent 心理状态建模的进阶能力。欺骗的形式化定义为:Agent jjj 向 Agent iii 发送信号 sss 诱导其形成关于真实意图 IjI_jIj​ 的错误后验信念,而 Agent jjj 的真实意图 IjI_jIj​ 与信号 sss 所暗示的意图相矛盾。

设欺骗信号 sss 服从条件分布 p(s∣Ijtrue,Ijdrived;θdeceptive)p(s | I_j^{\text{true}}, I_j^{\text{drived}}; \theta_{\text{deceptive}})p(s∣Ijtrue​,Ijdrived​;θdeceptive​),其中 IjtrueI_j^{\text{true}}Ijtrue​ 是真实意图,IjdrivedI_j^{\text{drived}}Ijdrived​ 是欺骗性意图(Agent jjj 希望 Agent iii 持有的信念)。Agent iii 的欺骗检测器需要计算后验:

p(Ijtrue≠Ijdrived∣s,τj)=η⋅p(s∣Ijtrue≠Ijdrived)⋅p(Ijtrue≠Ijdrived)p(I_j^{\text{true}} \neq I_j^{\text{drived}} | s, \tau_j) = \eta \cdot p(s | I_j^{\text{true}} \neq I_j^{\text{drived}}) \cdot p(I_j^{\text{true}} \neq I_j^{\text{drived}})p(Ijtrue​=Ijdrived​∣s,τj​)=η⋅p(s∣Ijtrue​=Ijdrived​)⋅p(Ijtrue​=Ijdrived​)

这一后验概率的大小决定了 Agent iii 是否应该"忽略" Agent jjj 的信号。当欺骗检测后验概率高时,建模 Agent 可以主动降权该信号的信任度,并提高其策略的鲁棒性(如使用极小化极大 regrets 策略)。

5.3 共享心智模型与团队认知

在长期协作的多智能体系统中,Agent 之间会逐渐形成共享心智模型(shared mental model)。形式化地,设团队 T\mathcal{T}T 包含 NNN 个 Agent,共享心智模型 MTM_{\mathcal{T}}MT​ 是每个 Agent i∈Ti \in \mathcal{T}i∈T 对团队共同目标 GTG_{\mathcal{T}}GT​、任务结构 TTT_{\mathcal{T}}TT​ 和成员能力 {Cj}j∈T\{C_j\}_{j \in \mathcal{T}}{Cj​}j∈T​ 的共同认知。共享心智模型的一致性程度可以用 Jensen-Shannon 散度度量:

DJS(Mi∥Mj)=12DKL(Mi∥M)+12DKL(Mj∥M)D_{\text{JS}}(M_i \| M_j) = \frac{1}{2} D_{\text{KL}}(M_i \| M) + \frac{1}{2} D_{\text{KL}}(M_j \| M)DJS​(Mi​∥Mj​)=21​DKL​(Mi​∥M)+21​DKL​(Mj​∥M)

其中 M=12(Mi+Mj)M = \frac{1}{2}(M_i + M_j)M=21​(Mi​+Mj​)。当 DJS→0D_{\text{JS}} \to 0DJS​→0 时,两个 Agent 的团队认知完全一致,协作效率达到理论上限。当 DJSD_{\text{JS}}DJS​ 较大时,Agent 间需要通过显式通信来对齐心智模型——这产生了协作认知开销(cognitive coordination overhead)。

六、对工程实践的推论

6.1 多 Agent 协调系统的设计原则

从 Bayesian ToM 和主动推理的理论框架出发,我们可以导出多 Agent 协调系统的几条设计原则:

第一,设计合理的信念更新频率。理论分析表明,Fisher 信息量随观测历史长度单调递增,但边际信息获取递减。在工程实现中,Agent 对其他 Agent 的信念更新频率应该与交互稳定性匹配:高频策略变化(如竞争性市场)需要更高的信念更新频率;低频稳定策略(如固定角色的团队协作)可以使用滑动窗口更新,避免不必要的计算开销。

第二,区分合作与竞争环境下的建模深度。在合作环境中,第二层信念(对他人信念的信念)通常不如第一层信念重要——因为合作 Agent 通常共享目标,意图对齐已经部分由共享心智模型保证。在竞争环境中(如拍卖、谈判),第二层甚至第三层信念的建模精度直接决定竞争结果。工程系统应该根据 Agent 关系的性质选择合适的建模深度,避免过度工程化。

第三,引入元认知监控层。每个 Agent 应该持续监控其对其他 Agent 的建模精度(如预测误差 Ep=∣a^jt+1−ajt+1∣E_p = |\hat{a}_j^{t+1} - a_j^{t+1}|Ep​=∣a^jt+1​−ajt+1​∣ 的滑动均值)。当预测误差超过预设阈值时,系统应该触发"心理模型刷新"程序(清除旧粒子并从新的先验开始),或者主动发出通信请求来直接获取其他 Agent 的当前意图,而非继续依赖过时的推断。

6.2 工程实现中的计算权衡

Bayesian ToM 的一个核心工程挑战是假设空间的规模。当目标 Agent 的策略空间 Θj\Theta_jΘj​ 很大时,精确的贝叶斯推断在计算上不可行。几种实用的近似策略:

策略一:基于有限状态机的假设空间。将目标 Agent 的策略限制为有限状态机(Finite State Machine, FSM)的形式,其状态数 ∣Q∣|Q|∣Q∣ 远小于连续参数空间。这使得后验推断可以在离散的假设空间上进行,复杂度从 O(∣Θj∣)O(|\Theta_j|)O(∣Θj​∣) 降到 O(∣Q∣)O(|Q|)O(∣Q∣)。FSM 假设在工程实践中通常足够——大多数商业 Agent 的行为规则确实可以被有限状态机良好地近似。

策略二:变分推断近似。用变分分布 qϕ(θj)≈p(θj∣τj)q_\phi(\theta_j) \approx p(\theta_j | \tau_j)qϕ​(θj​)≈p(θj​∣τj​) 来近似真实后验,通过最大化证据下界(ELBO)来拟合变分参数 ϕ\phiϕ。变分推断将贝叶斯推断问题转化为优化问题,可以利用反向传播高效求解,适合大规模参数空间。

策略三:基于理论的先验裁剪。利用领域知识对先验 p(θj)p(\theta_j)p(θj​) 进行裁剪,排除不合理的假设。例如,如果我们知道目标 Agent 是一个基于 LLM 的对话 Agent,我们可以在假设空间中排除"该 Agent 不使用语言"的假设,将先验概率质量集中在合理的策略子空间。

6.3 安全与对齐的启示

Agent 对其他 Agent 心理状态的建模能力本身是一把双刃剑。更强的 ToM 能力意味着 Agent 更擅长策略性欺骗——如果一个 Agent 能够准确推断其他 Agent 的信念,它也就能够精准地设计误导信号。这对 AI 安全提出了新的挑战:在构建具有高精度 ToM 能力的 Agent 系统的同时,需要配套的欺骗检测和鲁棒性机制。

一个可行的方向是双向透明协议(mutual transparency protocol):在受控环境中,Agent 之间共享其内部信念结构的压缩表征(如策略embedding),使得欺骗在计算上不划算。然而,这一方向本身也带来了新的攻击面——共享的信念结构可以被逆向工程来构造更精准的欺骗信号。

七、局限性与开放问题

计算可扩展性是 Bayesian ToM 最根本的工程瓶颈。假设空间 ∣H∣|\mathcal{H}|∣H∣ 随目标 Agent 的策略复杂度指数增长。当目标 Agent 是具有数十亿参数的神经网络时,精确的策略推断在计算上不可行。目前可行的近似方法(如粒子滤波、变分推断)都是在精度和效率之间妥协的工程方案,而非理论上的最优解。

先验选择的困难是另一个尚未解决的问题。Bayesian ToM 的质量严重依赖于先验 p(θj)p(\theta_j)p(θj​) 的选择——一个糟糕的先验会导致后验推断缓慢收敛甚至收敛到错误模态。在没有任何先验知识的冷启动场景中,如何选择"中立且高效"的初始先验,仍然是开放问题。

高阶信念的计算脆弱性在实际系统中值得关注。递归的"我认为你认为我认为……"推断链条在理论上是优雅的,但在工程中,每一层额外的信念嵌套都会累积推断误差。当 Agent 之间存在显著的知识不对称(某些 Agent 拥有其他 Agent 不知道的私有信息)时,高阶信念推断很容易产生矛盾甚至悖论(如常见的"谁在说谎"推理困境)。

跨域迁移问题也值得注意。如果 Agent iii 在领域 A 中学会了建模 Agent jjj 的心智模型,能否将这一模型迁移到完全不同的领域 B?直觉上,Agent jjj 的某些元认知特征(如风险偏好、探索-利用权衡倾向)可能是跨域稳定的,但目前缺乏系统的理论分析和实验验证。

八、结论与展望

本文从 Bayesian Theory of Mind 出发,系统分析了 Agent 心理状态建模的理论基础、核心算法和工程实践。我们建立了从 POMDP 到多智能体随机博弈的形式化链条,证明了 Bayesian ToM 在信息论意义上是心智预测的最优框架,并推导了预测精度的理论下界(Cramér-Rao 下界)。

核心洞察可以总结为三点:第一,Agent 对其他 Agent 的心理状态建模本质上是一种贝叶斯推断问题,其精度上界由 Fisher 信息量决定;第二,主动推理框架为 Bayesian ToM 提供了统一的感知-行动视角,使得自我建模与他人建模在同一数学语言下得到整合;第三,在实际工程系统中,计算可扩展性是核心约束,需要通过有限状态机近似、变分推断和领域知识引导的先验裁剪来管理。

未来的研究方向包括:如何在具有数十亿参数的神经网络 Agent 上实现高效的 ToM 推断(可能需要将策略表示为神经网络的低维瓶颈表征);如何在对抗性环境中同时保证 ToM 精度和欺骗鲁棒性;以及如何建立跨域迁移的心理模型表征理论。

参考文献

  1. Premack, D., & Woodruff, G. (1978). Does the chimpanzee have a theory of mind? Behavioral and Brain Sciences, 1(4), 515–526.

  2. Baker, C. L., Jara-Ettinger, J., Saxe, R., & Tenenbaum, J. B. (2017). Rational quantitative attribution of beliefs, desires and percepts in human mentalizing. Nature Human Behaviour, 1(4), 0064.

  3. Friston, K. (2010). The free-energy principle: A unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138.

  4. Friston, K., & Frith, C. D. (2015). A duet between one and two. Philosophical Transactions of the Royal Society B, 370(1668), 20140144.

  5. Baker, C. L., Saxe, R., & Tenenbaum, J. B. (2009). Action understanding as inverse planning. Cognition, 113(3), 329–349.

  6. Littman, M. L. (1994). Markov games as a framework for multi-agent reinforcement learning. In Proceedings of the Eleventh International Conference on Machine Learning (pp. 157–163).

  7. Ng, A. Y., & Russell, S. J. (2000). Algorithms for inverse reinforcement learning. In Proceedings of the Seventeenth International Conference on Machine Learning (pp. 663–670).

  8. Doshi, F., Pineau, J., & Roy, N. (2008). Reinforcement learning with limited reinforcement: Using Bayes risk for active learning in POMDPs. Proceedings of the International Conference on Autonomous Agents and Multiagent Systems.

  9. Kelley, C. G., & Barto, A. G. (2012). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

  10. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

  11. Frith, C. D., & Frith, U. (2012). Mechanisms of social cognition. Annual Review of Psychology, 63, 287–313.

  12. Rabinowitz, N. C., Perbet, F., Song, H. F., Zhang, C., Eslami, S. A., & Botvinick, M. (2018). Machine theory of mind. In Proceedings of the 35th International Conference on Machine Learning (pp. 4218–4227).

  13. Hamidi, Z., Daha, F., & Lee, S. W. (2023). Bayesian theory of mind for human-robot collaboration. Autonomous Robots, 47(1), 1–19.

  14. Shvo, M., McCarthy, J., & Velner, E. (2024). Planning with mental state models in multi-agent settings. In Proceedings of the AAAI Conference on Artificial Intelligence.

  15. Wilson, A. G. (2025). The information geometry of multi-agent learning. Transactions of Machine Learning Research.

一句话摘要:Bayesian Theory of Mind 为 Agent 提供了从观测行为反推他人信念与意图的最优数学框架,其预测精度受 Fisher 信息量约束,在工程中需通过有限状态机近似和变分推断在精度与效率间权衡。

相关文章

  • Agent 多模态输入解析与容错工程 2026:从 PDF/OCR 到结构化抽取8月12日
  • Agent 并发工具调用的竞争条件与一致性工程 20268月11日
  • Agent 反事实后悔与不可逆行动的形式化 20268月11日

评论

加载评论中…

发表评论

返回文章列表