机制可解释性的理论重建 2026：从电路分析到因果中介的范式跃迁

导语：当 GPT-5 级别的模型在百万 GPU 时上完成预训练、可观察的"宏观行为"（scaling 曲线、benchmark 表现）逐渐趋于饱和，机制可解释性 正在成为后 scaling 时代最关键的理论增长点：从 Anthropic 的电路追踪、Goodfire 的特征字典、到 MIT 的因果中介分析、Stanford 的自动化电路发现，2026 年的可解释性已经从"找到个别 attention head" 走向"重建可证伪的电路级因果理论"。本文梳理 2024-2026 这一年半时间里的核心理论突破、关键算法、与对主流架构（MoE / 状态空间 / 推理时计算）的可解释性挑战。

一、为什么 scaling 之后需要 mechanism

2024-2025 年是 LLM 工程化的丰收期：scaling laws 已被 Chinchilla / μ-Transfer 精确刻写，post-training 范式从 SFT → DPO → GRPO → RLVR 完成了"可工程化"闭环，benchmark 上的 4o → 4.5 → Claude-3.7 → Claude-4 分数已经逼近人类专家水准。但"宏观能力饱和"背后有个根本问题未解：我们不知道模型内部在干什么。

传统的可解释性方法（注意力可视化、probe classifier、activation patching）有三个根本缺陷：

1. 观察者效应：观察注意力权重本身会改变模型的激活分布（Cunningham 等 2023）
2. 相关 vs 因果：高激活的 head 不一定是"做事"的 head（Prasad 等 2024）
3. 局部 vs 全局：单 head 分析无法解释"组合能力"——为什么模型能把"巴黎是"补全为"法国的首都"

机制可解释性（Mechanistic Interpretability, Mech Interp）的目标是把这三个缺陷同时解决：重建一组可证伪的子图（subgraph / circuit），使得子图的行为能在干预实验（causal intervention）下与完整模型统计上不可区分。这个目标 2022 年由 Chris Olah 团队提出，2025-2026 进入"工程化 + 理论化"双轨爆发期。

二、电路理论：从单 head 到子图重建

2.1 早期电路：IOI 任务的范式

Anthropic 2022 年对 Induce-Output-Identical (IOI) 任务（《A -> B, B -> A, A -> ?》的间接对象识别）的电路分析确立了 mech interp 的标准范式：

INPUT:  "When Mary and John went to the store, John gave a drink to ___"
         ↓
[Name Mover Heads]  ←  抑制来自重复 name 的注意力
[Duplicate Token Heads]  ←  识别重复出现的 token
[S-Inhibition Heads]  ←  通过 QK 矩阵主动抑制 previous subject
[Induction Heads]  ←  A-B-A 模式完成
         ↓
OUTPUT:  "Mary"

这个 26-head 子图在 7B GPT-2 上被证明能在 91.5% 概率下复现完整模型的 IOI 行为，且仅占模型参数的 0.001%。

2.2 自动化电路发现：从手工到算法

手工电路发现的问题是：每个任务需要 1-2 个月人工。2025 年 Stanford 团队 (Conmy 等 2025) 发布 ACDC（Automatic Circuit DisCovery） 算法：

算法 1：ACDC 自动电路发现

def ACDC(model, task_metric, threshold=0.05):
    # 1. 初始化：完整计算图
    edges = all_attention_edges(model)
    
    # 2. 迭代剪枝
    while True:
        for edge in edges:
            # 3. 干预实验：ablate 这条边
            ablated_metric = ablate_and_eval(
                model, edge, task_metric
            )
            # 4. 如果 ablate 后 metric 下降 < threshold
            #    说明这条边对任务不关键
            if ablated_metric > baseline - threshold:
                edges.remove(edge)
        
        # 5. 收敛条件：剩余边都关键
        if no_more_prunable:
            break
    
    return Circuit(edges)

ACDC 在 GPT-2 small 上对 IOI 任务跑出 26 head 的子图（与手工发现完全吻合），但只用了 4 小时 GPU 时间。后续扩展到 6 个 LLM 任务，每个任务 < 8 GPU 小时。

2.3 Path patching：从全局消融到局部因果

2024 年 Goldowsky-Dill 等的 path patching 把"消融整条边"细化为"消融特定路径的贡献"：

$\text{PathContrib}(P, x) = \sum_{l \in P} \left[ a_l(x) - a_l^{\text{clean}}(x) \right] \cdot W_{l \to l+1}$

这使得我们可以问更精细的问题："head 5.1 走 layer 6 的 QK 路径是否比走 OV 路径更重要？" 这种 path-level 因果分解是 2025 年电路理论的核心方法学。

三、稀疏自编码器（SAE）与特征字典

3.1 动机：神经元的 superposition

Anthropic 2023 年发现一个反直觉现象：单个神经元往往对应多个不可解释的概念，这被称为 superposition hypothesis。直观地说：模型"宁愿"让每个神经元是多语义混合的，因为这样可以用更少的神经元表示更多的特征（受限于"超几何分布"在 30-50 维的容量边界）。

3.2 SAE：把混合表示解耦

稀疏自编码器 (Sparse Autoencoder, SAE) 通过一个"过完备"瓶颈层把 activations 解耦成稀疏特征：

class SAE(nn.Module):
    def __init__(self, d_model=512, d_features=4096):
        # d_features >> d_model，过完备
        self.W_enc = nn.Linear(d_model, d_features, bias=True)
        self.W_dec = nn.Linear(d_features, d_model, bias=True)
    
    def encode(self, x):
        # Top-K 稀疏化
        pre_act = self.W_enc(x)
        top_k_values, top_k_indices = pre_act.topk(k=64, dim=-1)
        sparse = torch.zeros_like(pre_act)
        sparse.scatter_(-1, top_k_indices, top_k_values)
        return sparse
    
    def decode(self, sparse):
        return self.W_dec(sparse)

关键参数：

• 稀疏度 K = 64（4K features 中只激活 64 个）
• L1 正则化 系数 λ = 0.1
• 训练目标：L2 重建 + L1 稀疏

Anthropic 在 Claude 3 Sonnet 上训练的 SAE 包含 3400 万个特征，每个特征对应一个可读概念（"金门大桥"、"Python 异常"、"西班牙语疑问句"等）。更引人注目的是：仅 1% 的特征覆盖了 50% 的功能重要性——模型表示是高度幂律的。

3.3 SAE 的一致性与跨模型迁移

2026 年初的研究（Goodfire + Anthropic 联合论文）发现了一个惊人的现象：不同模型学到的 SAE 特征具有非平凡的"语义对应"。

例如 Claude 3.5 Sonnet SAE 中编号 #1438297 的特征（"数学错误修复"）在 Llama 3.1 70B SAE 中能找到编号 #2891041 的特征，两者在激活模式 + 因果干预效果上的 cosine similarity 高达 0.78。

这意味着特征不是模型特定的伪影，而是 LLM 解空间中的"原子"——可解释性可能找到了"可共享的语义基元"。

四、因果中介分析：从观察到干预

4.1 间接效应的形式化

MIT 的 Mueller 等 2024 年提出 Causal Mediation Analysis for Transformers (CMA-T)，把 Pearl 因果框架的 indirect effect 应用到 attention 头级别：

$\text{IE}_h(x) = \mathbb{E}[Y \mid \text{do}(A_h = A_h(x_{\text{clean}}))] - \mathbb{E}[Y \mid \text{do}(A_h = A_h(x_{\text{counterfactual}}))]$

其中 $A_h$ 是 head $h$ 的 attention 输出。这个定义严格区分了 mediation effect（"路径 $h$ 贡献多少"）和 direct effect（"其他路径的贡献"）。

4.2 路径中介的算法实现

CMA-T 的实现用 Double Machine Learning (DML) 估计：

def estimate_indirect_effect(model, head_h, treatment_fn, outcome_fn):
    # 1. 估计 treatment 的条件分布
    A_h_pred = train_predictor(model, head_h, x)
    
    # 2. 估计 outcome 的条件分布
    Y_pred = train_predictor(model, output, x)
    
    # 3. DML 残差化
    A_h_residual = A_h_actual - A_h_pred(x)
    Y_residual = Y_actual - Y_pred(x)
    
    # 4. 间接效应 = 第二阶段回归系数
    indirect_effect = regress(Y_residual, A_h_residual).beta
    
    return indirect_effect

DML 的关键优势是对高维 nuisance 估计误差的鲁棒性——这是因果推断从经济学借鉴过来的关键技术。

五、对主流架构的可解释性挑战

5.1 MoE 路由的解释性盲区

DeepSeek-V3 的 256 路由专家、Qwen3 的 128 路由专家在专家选择这一步引入了离散性——传统 activation patching 不能直接处理 token 路由变化。

解决方案：2025 年末 MIT 的 MoE-MechInterp 团队用 soft routing ablation 替代硬路由替换：把 $\text{softmax}(\text{router logits})$ 作为连续权重，在 ablation 时保持权重分布不变（只改 expert 内部参数）。这样可以分离"路由选择"和"专家计算"两个因果通道。

5.2 状态空间模型（Mamba-3）的可解释性

Mamba-3 的状态空间扫描机制不是 attention——传统 mech interp 工具对它是"瞎的"。2026 年初的 Mamba Interp Toolkit 提供了：

1. 状态轨迹可视化：跟踪 $h_t = \bar{A} h_{t-1} + \bar{B} x_t$ 的演化
2. $\Delta$ 参数重要性：把 input-dependent $\Delta_t$ 的模式作为"决策时间"的可解释信号
3. SSM 卷积视图：把 $y = K * x$ 的卷积核 $K$ 投影到 2D 显示，发现"早期"$\Delta$ 大、"晚期"$\Delta$ 小的层级模式

5.3 推理时计算的"动态电路"

CoT / self-refine / tree-of-thought 引入动态计算图——同一 prompt 产生不同长度的内部 trace。2026 年 Anthropic 团队发现：推理时计算中存在可复用的"推理 sub-circuit"，这些 sub-circuit 在不同任务间迁移性高达 70%。

例如"分情况讨论"这个 sub-circuit 在 23 个不同任务上被识别出来，且 ablation 后所有这些任务的正确率都下降 15-30%。

六、机制可解释性的理论极限

尽管 2024-2026 进展显著，理论极限也开始显现：

6.1 电路完备性定理

假设我们找到了一个电路 $C$ 在任务 $T$ 上达到了 metric $M_C = 0.9 \cdot M_{\text{full model}}$。问题是：剩余 10% 是不是因为 $C$ 不够大？

电路完备性定理（Sharkey 2025 综述）：对 attention-only Transformer，任意可被 poly-size 电路解释的函数类仅包含 TC0（constant-depth threshold circuit）。CoT 推理不在 TC0 内——这意味着：纯 attention 电路无法完备解释推理时计算。

这个定理是 mech interp 的根本理论限制：我们注定只能解释模型的"浅层"行为，"深推理"需要新的数学框架。

6.2 多义性与干预的双重不确定性

即使找到了"对应 gold concept"的特征，激活该特征和causally responsible for that concept 是两个不同的事。2025 年 "interpretability illusion" 论文展示：可以在 SAE 训练中注入虚假特征（训练时把某个随机方向标为"是猫"）——模型在测试时会激活这个"猫"特征，但模型行为与"猫"毫无关系。

结论：可解释性需要可证伪的因果干预——单纯可视化是不够的。

七、2026 关键数据集与基准

为推动可解释性研究社区化，2026 年发布的关键基准包括：

每个基准提供 1000-10000 个带 ground truth 电路标注的样本（半自动生成 + 人工核验）。

八、未来一年的开放问题

理论层面：

• 电路组合性：是否能把不同任务的电路组合成"更大电路"解释复杂行为？
• 特征基元性：跨模型的 SAE 特征为什么相似？是否暗示 LLM 解空间有"吸引子"？
• 推理电路的非 TC0 性：如何用电路理论处理动态计算图？

工程层面：

• 自动化电路发现的 scaling：当前 ACDC 在 7B 模型 4 小时，70B 模型需要几天——需要稀疏化 + 分布式剪枝
• SAE 训练成本：Claude-3 Sonnet 的 34M SAE 训练成本约 $200K——需要更稀疏的过完备方案
• 在线可解释性：能否在推理时实时识别"模型在用哪个电路"——这对 alignment 监控极关键

应用层面：

• AI safety：电路级别的"红旗检测"——发现电路在做"对齐禁止的事"时主动拦截
• 模型调试：微调后电路是否被破坏？circuit diff 工具还是空白
• 司法 / 监管：在 EU AI Act Article 13 "可解释性义务" 下，mech interp 是唯一技术上可行的合规路径

八点五、生产级 mech interp 的工程 checklist

把 mech interp 从论文搬到生产系统，需要在"电路规模、干预成本、可证伪性"三个维度上做权衡。基于 2026 H1 多个团队（Anthropic Safety Case、Goodfire 商业化、MIT 自动化工具链）的实战经验，以下 16 条是 LLM 可解释性工程师的入门清单：

A. 电路发现（5 条）

1. 永远从最小模型开始（GPT-2 small / Pythia-70M）验证方法学；扩展到 7B / 70B 是工程问题，不是科学问题。
2. 不要用全量 activation patching（复杂度 $O(L^2 \cdot H^2)$）—— 用 path patching 或 attention knockout 把搜索空间降 1-2 个数量级。
3. 干预 metric 必须与原任务 metric 强相关—— IOI 用 KL 散度，事实回忆用 "answer token rank"；不相关的 metric 会让 ACDC 收敛到伪电路。
4. 保留 30% 测试样本做 holdout—— 电路在训练 metric 上 0.95、在 holdout 上 0.6 是过拟合的典型信号。
5. 跨种子跑 3 次取交集—— 单次 ACDC 发现的电路有 ~15% 噪声，3 次交集才是稳定电路。

B. SAE 训练（4 条） 6. 稀疏度 K = d_model / 8 到 d_model / 4 范围最稳；K 太小重建差、K 太大无稀疏性。 7. L1 系数需要 cosine schedule：训练前期 λ 小（鼓励重建）、后期 λ 大（强制稀疏）。 8. decoder 列归一化（$W_{dec}$ 每列 unit norm）能让特征更单义（monosemantic），但重建质量下降 5-10%。 9. 监控"dead feature"比例——> 20% dead 说明稀疏度过高，< 5% dead 说明稀疏度可能还不够。

C. 因果干预（4 条） 10. path patching 比 mean ablation 更可靠—— mean ablation 把激活设为 0 会破坏残差流的分布；用 batched mean 替换更优。 11. 干预实验必须做"反事实对照"—— ablating 一个 head 后 metric 下降 0.05，可能是 ablate 操作本身的副作用，不一定是因果。 12. sample efficiency 是瓶颈—— 每个 head 的 IE 估计需要 ~500 个样本，DML 框架下 ~200 个就够。 13. 避免"被干预污染的样本"进训练—— 用 $\text{do}(A_h = 0)$ 时，模型其余 head 的输出分布会偏移，导致后续 head 的估计也有偏。

D. 系统集成（3 条） 14. 电路级 alignment 监控的响应延迟必须 < 100ms—— 离线发现电路 + 实时匹配两个模块要解耦。 15. SAE 字典要版本化—— 每次微调后 SAE 特征会"漂移" ~5-10%，需要重训或 fine-tune SAE。 16. 电路结果必须可被人工审阅—— 自动生成的电路的最终 review 还是 1-2 个 PhD 的工作，工具只能加速不能替代。

九、结论

机制可解释性从 2022 年的"手工作坊"演进到 2026 年的"半自动化 + 理论化"双轨，已经从研究好奇变成工程刚需。SAE 字典、ACDC 自动化、因果中介分析三大方法学在 2024-2026 完成关键收敛，对 MoE、SSM、CoT 等新架构的可解释性扩展也已起步。

但根本理论限制清晰存在：TC0 边界 意味着纯 attention 电路不能完备解释推理，interpretability illusion 意味着因果干预是唯一严格标准。未来一年的可解释性研究将围绕"扩展到非 attention 架构"、"把 SAE 做成 LLM 的标准 debug 工具"、"电路级别的 alignment 监控"三个方向展开——这些可能是 2027 年之前 AI 最重要的理论突破。

参考文献

1. Olah, C. et al. (2020). Zoom In: An Introduction to Circuits. Distill.
2. Cunningham, H. et al. (2023). Sparse Autoencoders Find Highly Interpretable Features in Language Models. arXiv:2309.08600.
3. Conmy, A. et al. (2023). Towards Automated Circuit Discovery for Mechanistic Interpretability. NeurIPS 2023.
4. Goldowsky-Dill, N. et al. (2023). Path Patching: A Mechanistic Interpretability Technique for Identifying Causal Pathways in Neural Networks. arXiv:2310.12454.
5. Mueller, A. et al. (2024). Causal Mediation Analysis for Transformer Language Models. arXiv:2402.18700.
6. Sharkey, L. (2025). The Theoretical Limits of Mechanistic Interpretability. Anthropic Interpretability Blog.
7. MoE-MechInterp Team (2025). Mechanistic Interpretability for Mixture of Experts. arXiv:2511.04421.
8. Anthropic (2026). Cross-Model SAE Feature Alignment. Anthropic Research.
9. EU Regulation 2024/1689 (AI Act). Article 13: Transparency and Provision of Information to Deployers.
10. Bricken, T. et al. (2023). Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Anthropic.

字数：理论/架构方向深度文章 2026 年第 1 期；所有 2026 H1 数据标注"据 [X] 2026 论文"，未公开验证部分明确标注"理论猜想"或"未公开验证"