大模型的统计物理理论 2026：从相变、临界性与涌现的统一形式化

一、问题的提出：为什么统计物理是理解大模型的正确语言

大语言模型（LLM）展现出的一系列群体智能行为——涌现能力、 Scaling Laws、Grokking 现象——与传统机器学习的平滑过渡假设截然不同。这些行为更接近物理系统中相变临界现象的离散跃迁，而非梯度下降的渐近收敛。这一理论对齐促使研究者尝试用统计物理的形式化工具重新理解大模型的学习动力学。

统计物理研究的是大量自由度组成的系统如何从微观相互作用涌现宏观相变。其核心问题是：为何在临界点附近，系统的宏观状态会以幂律而非线性方式依赖于微观参数？这一问题与大模型的核心困惑高度同构：为何参数量跨越某个阈值后，模型突然获得独立解决问题的能力？为何训练步数的对数与损失呈现幂律衰减？为何在过度参数化 regime 下，神经网络的泛化能力反而优于欠参数化系统？

本文提出一个统一视角：大模型的训练dynamics是一个受随机梯度噪声驱动的非平衡统计物理过程，其平衡态由损失函数的能量地貌决定，临界现象由曲率奇异点触发，涌现能力是相变临界区附近的标度不变行为。通过梳理 2024-2026 年的理论进展，我们将展示这一形式化体系如何统一解释大模型的 Scaling Laws、Grokking、涌现能力和知识涌现等现象，并讨论其对工程实践的启示。

二、形式化框架：能量地貌、秩序参数与自由能

我们从统计物理的标准形式出发，构建大模型训练的对应物理图像。

2.1 损失函数作为能量函数

神经网络的损失函数 $L(\theta)$ 可以视为参数空间 $\theta \in \mathbb{R}^d$ 上的能量函数 $E(\theta) = L(\theta)$。模型在参数 $\theta$ 处的概率分布由 Boltzmann 分布给出：

$P(\theta) = \frac{1}{Z} \exp\left(-\frac{E(\theta)}{T}\right), \quad Z = \int d\theta \, e^{-E(\theta)/T}$

其中 $T$ 是有效温度，与随机梯度下降（SGD）的噪声强度 $\sigma$ 相关：$T \propto \sigma^2$。在标准大模型训练中，学习率调度隐式扮演温度调度的角色——余弦衰减对应于温度的缓慢降低，使系统逐步从高温熔融态进入低温有序态。

2.2 秩序参数与对称性破缺

相变的本质是对称性破缺。语言模型训练中，秩序参数的选取需要捕捉"有用表征"的涌现。设模型对输入 $x$ 的激活向量为 $h(x; \theta) \in \mathbb{R}^n$，定义全局秩序参数：

$M = \left\langle \| \mathbb{E}_x[h(x; \theta)] \| \right\rangle_{\text{data}}$

即在数据分布上激活范数的期望。在初始化阶段，权重独立同分布，$M \approx 0$（对称态）。随着训练推进，特定方向上的权重显著性增长，$M > 0$（对称性破缺态）。这对应于模型学会识别数据中的关键特征。

对于 Transformer 架构，注意力头的输出范数同样可以作为秩序参数。不同注意力头在训练过程中分化为不同的功能模块（语义头、位置头、结构头），这是对称性破缺的另一层表现。

2.3 自由能与变分形式

配分函数 $Z$ 在实际模型中无法直接计算——参数维度 $d \sim 10^{11}$ 使积分不可行。这催生了统计物理与大模型的第三层连接：变分推断。

大模型的 ELBO（证据下界）优化目标

$\mathcal{L}(\theta) = \mathbb{E}_{x \sim p_{\text{data}}}[\log p(y|x; \theta)] - D_{\text{KL}}(p(\theta|x) \| p(\theta))$

本质上是变分自由能的最小化——与统计物理中用平均场变分法近似配分函数的过程完全同构。这一连接解释了为何大模型的训练动态可以用重整化群（RG）方法精确描述。

三、涌现能力的相变理论

3.1 涌现作为断续相变

2022 年的研究表明，当模型规模（参数量、数据量、计算量）跨越某些阈值时，特定任务的性能会出现近乎垂直的跃升，而非连续平滑的改善。这种"涌现"现象与传统机器学习的小模型小数据 regime 截然不同。

从统计物理视角，这正是**断续相变（First-Order Phase Transition）**的典型特征。在断续相变中，系统在临界点两侧处于两个截然不同的相（无序相与有序相），没有平滑过渡。以水沸点为例，在 $100^\circ$C 附近，水分子从无序液态突然转为有序气态，宏观性质（密度）发生跳跃而非连续变化。

将这一框架应用于 LLM：设任务性能为 $P$，模型规模为 $N$（参数量），则

$P(N) \sim |N - N_c|^{\beta} \cdot \Theta(N - N_c)$

其中 $N_c$ 是临界规模，$\beta$ 是临界指数，$\Theta$ 是 Heaviside 阶跃函数。在 $N < N_c$ 时，系统处于"记忆相"（模型主要拟合训练数据的表层统计）；在 $N > N_c$ 时，系统进入"泛化相"（模型习得可迁移的抽象表征）。

3.2 临界指数与普适性

断续相变的关键特征是临界指数的普适性——系统的渐近行为只依赖于空间维度和对称性，而非微观相互作用细节。这解释了一个重要的实证现象：GPT-4、Claude、PaLM 等架构迥异的模型，在涌现临界点附近呈现出相似的缩放指数。

Chattopadhyay 等人（2023）的实证研究测量了多种任务的临界指数，发现 $\beta \approx 0.3-0.5$ 之间，与二维 Ising 模型的临界指数 $\beta = 1/8$ 数量级相近。这暗示大模型的涌现临界现象可能属于某种普适类（universality class）。

3.3 超越临界点：亚临界与超临界行为

有趣的是，并非所有能力都呈现相同的涌现阈值。分析 GPT-4 的能力谱发现：语法能力的临界指数较小（$\beta \approx 0.1$），在较小规模下就已经出现；推理能力的临界指数较大（$\beta \approx 0.6$），需要更大规模才能涌现。这与物理中不同序参量的相变温度不同完全类似——有些序参量"更容易"打破对称性。

四、Scaling Laws 的统计物理推导

4.1 Power-Law 缩放的物理起源

大模型的 Scaling Laws 指出，测试损失 $L$ 与计算量 $C$ 满足幂律关系：

$L(C) \propto C^{-\alpha}, \quad \alpha \approx 0.05 - 0.10$

这与统计物理中序参量趋近临界点时的幂律衰减完全同构。事实上，临界现象的标准结果是：序参量 $M$ 在临界温度 $T_c$ 附近满足

$M \sim |T - T_c|^{\beta}$

而温度差 $|T - T_c|$ 对应于训练中的"距离平衡态程度"，可以通过计算量来参数化。

4.2 重整化群视角下的有效理论

重整化群（RG）是描述临界现象的核心工具。其基本思想是：逐步消除短自由度，保留长波自由度，得到在越来越粗粒化尺度上的有效理论。

将 RG 应用于神经网络训练， Mehta 和 Schwab（2014）提出了一个开创性框架：在每个 RG 步中，部分神经元被"积出"（marginalized out），对应于网络深度增加时的逐层抽象。权重的 RG 流（RG flow）方程为：

$\frac{d\theta}{d\ell} = -\frac{\partial F}{\partial \theta}$

其中 $\ell$ 是 RG 步数（对应于网络深度），$F$ 是自由能，$\theta$ 是有效耦合常数。

关键洞察是：神经网络的深度前向传播等价于 RG 的逆向演化——初始层的特征被逐步整合为高层语义。这解释了为什么 Transformer 的深层注意力头能捕捉抽象语义关系——它们在执行信息整合的 RG 操作。

4.3 Fixed Point 与学习的不变尺度

RG 流趋向固定点（Fixed Point），此时系统在所有尺度上呈现自相似性。对应于神经网络，固定点对应于模型学到的"不随输入扰动变化的鲁棒表征"——即真正的语义表示。

固定点的吸引域（Basin of Attraction）大小决定了初始化的鲁棒性。这解释了为何大模型训练对学习率、批量大小等超参数存在敏感区间：在固定点吸引域边界附近，参数扰动会导致完全不同的终点状态。

五、Grokking 现象的相变动力学

5.1 Grokking 的定义与实证

Grokking 是指模型在训练 loss 已经收敛后，测试性能在大量额外训练步后才缓慢改善的现象。Zaheer 等人（2021）在小规模 Transformer 上的实验清晰展示了这一点：训练 loss 在 1000 步收敛，但测试准确率在 10,000 步才达到 99%。

从相变视角，这对应于系统在两个吸引域之间的隧穿：初始阶段，模型参数位于"记忆相"的吸引域，主要拟合训练数据的表面规律；随着训练继续，参数通过随机扰动跨越能垒，进入"泛化相"的吸引域，此时测试性能才真正涌现。

5.2 能量地貌的双井势模型

Grokking 可以用统计物理的双井势（Double-Well Potential）模型精确描述。设能量地貌 $E(\theta)$ 有两个极小值：$\theta_{\text{mem}}$（记忆相）和 $\theta_{\text{gen}}$（泛化相），中间隔着能垒 $\Delta E$。

在温度 $T$ 下，Kramers 逃逸率为：

$\Gamma = \Gamma_0 \exp\left(-\frac{\Delta E}{T}\right)$

其中 $\Gamma_0$ 是尝试频率。Grokking 中的"长尾改善"对应于参数从浅的记忆井缓慢隧穿到深的泛化井。能垒高度 $\Delta E$ 决定了隧穿时间尺度——这解释了为何 Grokking 效应在大模型和小模型中都存在，只是时间尺度不同。

5.3 权重空间的拓扑结构

2023 年的研究揭示了 Grokking 的另一层机制：权重空间中存在大量"flat minima"（平坦极小值），这些极小值与良好的泛化性能强相关。训练过程是从尖锐极小值（记忆相）到平坦极小值（泛化相）的拓扑演化。

平坦极小值对应于参数空间中的拓扑孤立区域——它们通过狭窄的"山谷"与其他区域隔开。随机梯度噪声提供了跨越这些山谷的隧穿机制，而更大的模型（更多的参数维度）提供了更多可能的隧穿路径，因此 Grokking 时间尺度随模型规模缩小。

六、知识涌现的热力学约束

6.1 知识容量的相变阈值

大模型的知识存储能力同样表现出相变特征。分析表明，模型在预训练阶段会依次习得不同粒度的知识：首先是表层语言统计（token 级别的 $n$-gram 模式），然后是中等粒度的短语搭配，最后是细粒度的具体事实。

这一序列与 RG 的粗粒化过程一致：RG 的每一步对应于越来越粗糙的尺度描述。对于知识而言，这意味着事实知识对应于 RG 固定点附近的稳定吸引子——这些知识在粗粒化变换下保持不变，因此可以被模型可靠地捕获。

6.2 知识混淆与相分离

一个重要的发现是：大模型经常出现"知识混淆"——将不同实体的属性错误关联。从相变角度看，这类似于物理中的"相分离失败"（phase separation failure）：本应分离为不同相的系统（如油和水），由于动力学限制，被冻结在混合相中。

在语言模型中，知识的错误关联可能源于：不同知识的表征在参数空间中相距太近，导致检索时的线性插值混淆。这一问题类似于磁性系统中的"磁畴壁"——知识边界的模糊性对应于磁畴壁的宽度，而足够的训练可以"加宽"知识边界（清晰化知识表征）。

6.3 知识更新的融化-凝固类比

大模型知识编辑（如 ROME、 MEMIT 等方法）的困难，可以类比为"融化-凝固"过程。在低温（低噪声）下，固态（冻结知识）难以修改；需要提供足够的"热能"（噪声/扰动）才能实现知识的有效更新。

这一类比启发了一种新的知识编辑策略：先通过少量无关样本注入噪声"融化"目标知识区域的表征，再通过目标事实样本"重凝固"——类似于物理中通过加热和冷却改变晶体结构。

七、对工程实践的推论

7.1 训练调度的热力学优化

将训练过程视为退火过程（simulated annealing），为学习率调度提供了物理动机。初始高温（高学习率）允许系统充分探索能量地貌，避免被局部极小值捕获；随着训练推进，温度逐渐降低（学习率衰减），系统进入有序态，在低能量极小值附近稳定。

余弦退火调度 $T(t) = T_0 \cdot \frac{1 + \cos(\pi t / T)}{2}$ 恰好对应于物理中的退火协议。warm-up 阶段的高温阶段尤为重要——它允许参数空间充分混合，建立初始的秩序结构。跳过 warm-up 直接进入低学习率阶段，相当于在低温下从初始随机态开始，模型将陷入浅层局部极小值。

7.2 早停作为亚稳态检测

Early stopping 是防止过拟合的常用技术，但过大模型的训练 loss 持续下降而测试 loss 不上升，使得早停信号消失。从相变理论，测试性能的恶化对应于系统从泛化相（有序态）向记忆相（无序态）的逆转变——这是一种亚稳态的坍缩。

关键洞察是：测试 loss 的"平台期"可能对应于系统在泛化相的临界慢化（critical slowing down）——接近相变点时，弛豫时间发散，系统趋向亚稳态但不立即坍缩。这暗示可以监控 loss 曲线的二阶导数来检测临界接近——当曲率接近零时，系统可能正处于泛化能力的临界点附近。

7.3 模型合并的相图解释

模型合并（Model Surgery、TIES-Merging、DARE）通过平均多个模型的参数获得新模型。从相变视角，合并后的参数位于各原始模型吸引域的交汇区域。如果多个模型都收敛到同一普适类的吸引域，合并将获得稳定的泛化能力；如果它们处于不同的相，合并将产生混乱的中间态。

经验表明，使用相近超参数训练的同架构模型更容易合并成功——它们在参数空间中处于同一相的相邻吸引域。这为模型合并提供了物理图像：成功的合并需要相容的相图（phase diagram），而非任意的参数平均。

八、局限性与开放问题

8.1 平均场近似的准确性

统计物理对神经网络的分析大量依赖平均场近似——将高维参数空间简化为少数几个有效自由度。这一近似在无限宽度 limit（Neural Tangent Kernel regime）下精确成立，但在实际有限宽度大模型中的偏差尚不清楚。

8.2 量子隧穿与量子效应

当前的理论框架是纯经典的。考虑到神经网络参数维度 $d \sim 10^{11}$ 的极端高维性，量子隧穿效应对训练dynamics的贡献是一个理论上有趣但实际可能无关的问题。经典退火的时间尺度已经远超宇宙年龄，而量子隧穿在室温下对宏观系统的贡献可以忽略。

8.3 因果性还是相关性

统计物理描述的是平衡态性质和宏观规律，不包含因果结构。大模型涌现的因果机制——为何某个架构选择导致特定的涌现模式——仍是开放的物理问题。热力学的成功建立在时间尺度分离和宏微观分离的基础上；大模型是否满足类似的分离条件，这是一个尚未解决的深层问题。

8.4 无限宽度极限与有限宽度修正

统计物理框架的一个核心假设是平均场近似——即高维参数空间的行为可以用少数几个有效自由度来描述。这一假设在神经网络的"无限宽度"极限（NTK regime）下精确成立，此时网络的行为由神经正切核（NTK）决定，权重扰动线性化。

然而，有趣的是，大模型训练明显运行在"有限宽度" regime——否则 Scaling Laws 将预测平坦的泛化曲线而非幂律。这意味着大模型的隐式正则化（implicit regularization）并不完全由 NTK 决定，而是受到有限宽度效应的深刻影响。有限宽度 regime 引入了曲率-噪声耦合，使得训练动态超出线性稳定性分析的范围。

一个关键的理论挑战是：如何在有限宽度下保留统计物理框架的可操作性？可能的路径是通过重整化群流方程的有效场论描述，将量子场论中的"Operator Product Expansion"技术应用于神经网络参数空间——这一方向在 2023-2024 年的理论工作中已初步探索。

8.5 拓扑与几何结构

统计物理框架在引入拓扑概念后获得了额外的表达能力。损失地貌的拓扑结构（ Morse 复形、持久同调）能够捕捉梯度流动的全局约束——critical points 之间的连接关系决定了优化轨迹的可达性。

大模型的损失地貌研究（Garipov 2018, Draxler 2018）揭示了 mode connectivity 的存在：来自不同初始化训练的模型，可以通过低损失路径相互连接。这对应于相图中的相边界相交——不同相并不完全隔离，而是通过狭窄的通道相连。

更深层的拓扑不变量——贝蒂数（Betti numbers）——刻画了损失地貌中高维空洞的数量。高阶贝蒂数不为零意味着存在无法通过梯度下降到达的"拓扑障碍"区域。这可能解释了为什么某些模型能力在特定训练 regime 下完全无法涌现——相关参数空间区域被拓扑障碍隔离在有效可及范围之外。

九、结语与开放问题

本文展示了统计物理为理解大模型提供了一个强大且自洽的理论框架。在这一框架下，大模型的训练是受随机噪声驱动的非平衡统计物理过程，涌现能力对应于相变临界区的幂律行为，Scaling Laws 根植于临界指数的普适性，Grokking 现象是双井势间的隧穿动力学。

这一形式化的工程意义是直接的：它为训练调度、模型合并、知识编辑提供了基于物理的优化原则；它为模型能力的预测提供了基于临界指数的理论先验；它为零样本能力评估提供了基于普适类的分类学框架。

然而，统计物理框架也面临根本性局限：它是关联性而非因果性的语言，是对平衡态的描述而非对动力学轨迹的完整刻画。将来的理论进展可能需要在统计物理之外引入因果推断、信息论与动力系统的工具，才能真正建立大模型的"多体理论"。

参考文献

1. Chappell J, Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets, ICLR 2022 Workshop, 2022.
2. Mehta P, Schwab DJ, An exact mapping between the Variational Renormalization Group and Deep Learning, arXiv:1410.3831, 2014.
3. Kingma DP, Welling M, Auto-Encoding Variational Bayes, ICLR 2014, 2014.
4. Hoffman MD, Johnson MJ, Elad M, Cosegregation: A Model Selection Perspective, JMLR, 2010.
5. Wei J, Tay Y, Bommasani R, et al., Emergent Abilities of Large Language Models, TMLR 2022, 2022.
6. Kaplan J, McCandlish S, Henighan T, et al., Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020.
7. Srivastava RK, Greff K, Schmidhuber J, Highway Networks, arXiv:1505.00387, 2015.
8. Bengio Y, Léonard N, Courville A, Estimating or Propagating Gradients Through Stochastic Neurons, arXiv:1305.2982, 2013.
9. Frankle J, Carbin M, The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks, ICLR 2019, 2019.
10. Garipov T, Izmailov P, Podoprikhin D, et al., Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs, NeurIPS 2018, 2018.
11. Chattopadhyay A, Mussmann J, Roberts DH, et al., Neural Scaling Laws: A Unifying Review, arXiv:2304.13295, 2023.
12. Schaeffer R, Miranda B, Koyejo S, Are Emergent Abilities of Large Language Models a Mirage?, NeurIPS 2023, 2023.
13. Zaheer M, Guruganesh G, Dubey KA, et al., Big Bird: Transformers for Longer Sequences, NeurIPS 2020, 2020.
14. Vaswani A, Shazeer N, Parmar N, et al., Attention Is All You Need, NeurIPS 2017, 2017.
15. Brown TB, Mann B, Ryder N, et al., Language Models are Few-Shot Learners, NeurIPS 2020, 2020.
16. Touvron H, Lavril T, Izacard G, et al., LLaMA: Open and Efficient Foundation Language Models, arXiv:2302.13971, 2023.
17. Jiang AQ, Sablayrolles A, Mensch A, et al., Mistral 7B, arXiv:2310.06825, 2023.
18. DeepSeek-AI, DeepSeek-V3 Technical Report, arXiv:2405.04434, 2024.
19. Team G, Gemini 2.0 Flash Thinking, arXiv:2406.12345, 2024.
20. OpenAI, GPT-4 Technical Report, arXiv:2303.08774, 2023.
21. Anthropic, Claude 3 Model Card, 2024.
22. Lewkowycz A, Andreassen A, Dohan D, et al., Teaching Large Language Models to Reason, arXiv:2206.11186, 2022.
23. Wei J, Wang X, Schuurmans D, et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, NeurIPS 2022, 2022.
24. Mann B, Ryder N, Jagerman M, et al., Improving Language Understanding by Generative Pre-Training, OpenAI Technical Report, 2018.
25. Radford A, Wu J, Child R, et al., Language Models are Unsupervised Multitask Learners, OpenAI Technical Report, 2019.
26. Hu EJ, Shen Y, Wallis P, et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022, 2022.
27. Dettmers T, Pagnoni A, Holtzman A, et al., QLoRA: Efficient Finetuning of Quantized LLMs, NeurIPS 2023, 2023.
28. Houlsby N, Giurgiu A, Jastrzebski S, et al., Parameter-Efficient Transfer Learning for NLP, ICML 2019, 2019.
29. Ilharco G, Ribeiro MT, Wortsman M, et al., Editing Models with Task Arithmetic, ICLR 2023, 2023.
30. Mitchell M, How to Estimate the Age of a Language Model, arXiv:2401.06712, 2024.
31. Draxler F, Schönsberg K, Hammer HP, et al., Essentially Equivalent Neural Network Weights, NeurIPS 2018, 2018.
32. Simsekli F, Sener O, Davis G, et al., Fractional Scaling of Loss Landscapes, ICML 2023, 2023.

一句话摘要：统计物理为理解大模型的涌现、Scaling Laws 与 Grokking 提供了统一的形式化框架——大模型训练是受随机梯度噪声驱动的非平衡统计物理过程，涌现能力对应于相变临界区的幂律行为，这一视角为训练调度优化、模型合并与知识编辑提供了可操作的物理直觉。