Context Cache 工程 2026：从 KV 复用、语义压缩到 NIAH 生产闭环

一、问题的提出：上下文工程的第三次范式转移

大模型推理的上下文工程经历了三次范式转移。第一阶段是固定上下文窗口阶段，模型能力受限于预定义的 2048 或 4096 token 上限，超出部分直接截断。第二阶段是长上下文窗口阶段，以 GPT-4 128K、Claude 200K 和 Gemini 1M 为标志，上下文从"限制"变成了"资源"，但信息利用率并未同步提升。第三阶段是上下文工程（Context Engineering）阶段，研究者开始系统性地追问：给定一个 LLM 的完整上下文窗口，究竟哪些信息真正被利用了，哪些被注意力机制悄然丢弃了？

这一追问催生了 Context Cache 工程这一新兴领域。Context Cache 不是狭义的 KV Cache 复用，而是指在生产环境中对长上下文输入进行有策略的记忆、压缩、检索和再利用的完整工程体系。其核心问题有三个：第一，如何识别上下文中真正被模型使用的部分；第二，如何在缓存命中率、内存占用和输出质量三者之间找到工程上可维护的平衡点；第三，如何将 Context Cache 与 RAG Agent、多模态理解、上下文窗口外推等前沿方向统一建模。

本文从信息瓶颈理论出发，建立 Context Cache 的形式化框架，随后深入 KV Cache 的生产工程实现、语义压缩与软压缩技术、以及 Nerve-In-A-Haystack（NIAH）这一特殊但重要的上下文精确召回范式，最后讨论当前工程瓶颈与未来方向。

二、形式化框架：信息瓶颈视角下的上下文利用

2.1 条件互信息与有效上下文

给定输入序列 X = (x₁, x₂, ..., x_n) 和 LLM 的上下文窗口 C，模型实际利用的信息量可以通过条件互信息 I(X; C | Y) 来衡量，其中 Y 是目标输出。在信息瓶颈（Information Bottleneck）框架下，上 F下文压缩的目标是最大化 I(C; Y)（预测 Y 所需的信息量），同时最小化 I(X; C)（压缩后的表示长度）。这一目标对应如下优化问题：

min_{p(c|x)} I(X; C) - β · I(C; Y)

其中 β 是拉格朗日乘子，控制压缩率与信息保留之间的权衡。当 β → ∞ 时，模型倾向于保留所有对 Y 有贡献的信息，即使表示很长；当 β → 0 时，模型趋向于最激进的压缩。

从工程角度，这个形式化框架解释了为什么简单粗暴的 KV Cache 复用（缓存所有历史的 KV state）在实际生产中效果不佳：没有对信息贡献度进行筛选，缓存命中率虽然高，但缓存的 KV 对中有相当一部分对当前推理毫无贡献——这些"死 KV"占据了大量显存，却无法降低目标任务的推理成本。

2.2 注意力分散与跨层信息损失

LLM 的自注意力机制并非均匀地关注上下文中的每个 token。Vaswani et al.（2017）的原始工作揭示了注意力权重分布的稀疏性：对于任意层，Top-K 注意力头通常只聚焦在 5-15% 的输入 token 上。随后的研究（Dong et al., 2021）进一步发现，浅层的注意力模式更多由语法结构驱动（介词、名词、动词），而深层逐渐转向语义相关性。

这意味着，如果我们对 KV Cache 进行压缩或选择性存储，需要在每一层都建立贡献度度量，而不是假设所有层的注意力模式一致。实验观察表明：浅层的 KV 信息更多是局部语法级别的，压缩后的信息损失对最终输出的影响相对可量化；深层的 KV 信息则是全局语义级别的，其贡献度与具体任务高度相关，压缩风险更难预测。

2.3 有效上下文窗口的边界

有效上下文窗口（Effective Context Window）是指模型真正能够利用上下文信息的最大范围，而非技术上的上下文窗口上限。论文"Lost in the Middle"（Liu et al., 2024）通过系统性实验证明，当相关信息位于输入的中间位置时，模型的召回率显著低于信息在开头或结尾时——这一现象被称为"lost in the middle"问题。

其根源在于 Transformer 的位置编码设计：大多数现代模型使用旋转位置编码（RoPE）或 ALiBi，这些编码方案在理论上支持上下文外推（context extrapolation），但实际外推能力受限于注意力机制的归纳偏置。当上下文长度超出训练时见过的范围时，注意力权重分布会发生系统性偏移，导致中间位置的信息被"淹没"。

工程上，有效上下文窗口的边界不是固定的 128K 或 200K，而是一个由任务复杂度、模型架构和输入结构共同决定的动态边界。这个边界决定了 Context Cache 的设计上限：超过有效上下文的 KV 信息即使被缓存，也无法在当前生成任务中被有效利用。

三、KV Cache 的生产工程：全精度缓存的挑战与权衡

3.1 PagedAttention 与 KV Block 管理

PagedAttention 是 vLLM 提出的分页式注意力机制，其核心思想是将 KV Cache 按 block 进行管理，每个 block 包含固定数量的 token 的键值对（通常为 16 或 32 个 token）。Block 之间通过链表连接，允许动态分配和释放。

这一设计的工程优势在于：第一，显存分配从连续分配变为离散分配，避免了为每个请求预分配最大上下文窗口导致的显存浪费；第二，不同请求之间可以共享相同的 prefix block，当多个请求共享系统 prompt 时，只需存储一份 KV cache，多个采样序列各自持有指向该 prefix block 的指针。

在生产环境中，PagedAttention 的典型配置如下：prefix block 大小为 64 个 token，生成阶段每次生成 16 个新 token 后追加一个 block。Block 的分配策略采用启发式预分配：每次 prefill 阶段结束后，根据 prompt 长度和预期的最大生成长度，预先分配一定数量的空 block，避免生成过程中因 block 不足而触发昂贵的重新分配。

3.2 生产环境的三个核心指标

KV Cache 的生产工程需要在三个相互冲突的指标之间找到平衡：

首 Token 延迟（Time to First Token, TTFT）：prefill 阶段的时间成本。当 prefix cache 命中时，prefill 阶段可以跳过已缓存 token 的注意力计算，显著降低 TTFT。理想情况下，100% prefix cache 命中时，TTFT 可降低 80% 以上。

吞吐量（Throughput）：decode 阶段的 token 生成速率。KV Cache 的 decode 优化主要通过减少显存带宽压力来实现。当 KV cache 足够大以容纳完整的 prompt 信息时，decode 阶段的显存访问模式更加连续，有利于 Tensor Core 的高效利用。

显存占用（Memory Footprint）：KV Cache 消耗的 GPU 显存。对于 70B 参数的模型，单个 token 的 KV state 约为 2 × 2 × 128 × 128 × fp16 = 64KB（假设 128 层、128 维度、键和值各一个矩阵）。对于 128K 上下文的单请求，KV Cache 总量达到 128K × 64KB ≈ 8GB——相当于模型权重本身的约 10%。

3.3 Context Cache 的失效策略

Context Cache 在实际生产中面临的核心工程问题是缓存失效（cache invalidation）。当上游数据（知识库、工具定义、系统 prompt）发生更新时，已缓存的 KV state 可能包含陈旧信息，直接使用会导致推理结果与最新数据不一致。

简单的 TTL（Time-to-Live）策略面临的问题是：不同数据的更新频率差异极大。系统 prompt 可能数周不变，知识库可能每小时更新，而实时 Tool 描述可能在分钟级变化。一刀切的 TTL 策略要么导致陈旧缓存被长期使用，要么导致频繁的缓存穿透（cache stampede）。

语义失效（Semantic Invalidation）是更精细的策略：当知识库中某个 chunk 的语义向量与缓存时相比发生显著变化（余弦距离超过阈值），则使该 chunk 相关的所有缓存条目失效。这一策略需要额外的向量检索开销，适合对数据新鲜度要求极高的场景。

四、语义缓存：软压缩的生产实践

4.1 软压缩的定义与分类

软压缩（Soft Compression）是一类不对 KV state 直接降精度的缓存压缩方法，而是通过选择性存储、动态驱逐和语义去重来减少有效缓存大小。与之对应的是硬压缩（Hard Compression），后者通过量化（如 INT8 KV Cache）或剪枝（丢弃低贡献度 KV 对）直接修改存储精度。

软压缩的核心假设是：在自然语言上下文的相关性度量中，存在大量近似冗余的 KV 对——两个语义相近的 token 在后续生成中几乎总是被同样关注，因此只需保留其中一个的 KV state，或者让它们共享同一个 KV 表示。

软压缩的主要技术路径包括：

语义去重（Semantic Deduplication）：当两个 token 在语义空间中的向量表示高度相似时（余弦距离 < δ），强制让它们的 KV state 指向同一个缓存条目。这一方法在处理大量模板化文本（如 JSON schema 描述、标准化 prompt 模板）时效果显著，可将缓存大小减少 30-50%，同时对输出质量的影响极小。

层级缓存（Hierarchical Caching）：将缓存分为 L1（全精度 KV Cache）、L2（压缩 KV Cache）和 L3（纯语义索引，不含原始 KV）。L1 缓存命中率低但查询速度快，L3 命中率最高但需要额外计算重建 KV。层级缓存通过 LRU 驱逐策略在三层之间动态迁移数据。

4.2 软压缩的工程实现

软压缩的生产实现需要解决三个核心问题：相似度阈值 δ 的自动调整、压缩后 KV 的一致性验证、以及与 PagedAttention block 管理的集成。

相似度阈值 δ 的自动调整是一个在线学习问题：当 δ 设置过低时，缓存去重效果不明显；当 δ 设置过高时，多个语义不同但向量相似的 token 被错误合并，导致生成结果中出现语义漂移。生产系统通常采用保守的初始阈值（δ = 0.95），并通过对抗性样本注入（定期用已知答案的测试用例验证缓存一致性）来动态上调阈值。

与 PagedAttention 的集成需要在 block 分配逻辑中增加语义去重检查。当新的 token 需要分配 KV block 时，先计算其与当前 block 中已有 token 的语义相似度，若超过阈值则共享同一 KV 存储位置。这一检查的时间复杂度为 O(B × S)，其中 B 是 block 大小，S 是向量维度，在 GPU 上可通过矩阵运算向量化。

4.3 评估指标：缓存质量与效率的量化

软压缩的效果需要用三个指标综合评估：

缓存命中率（Hit Rate）：缓存命中的请求数 / 总请求数。软压缩通过去重和层级化通常能将 hit rate 从纯 LRU 的 35-40% 提升到 50-60%。

输出质量损失（Quality Regression）：通过自动化评估集（包含准确率、BLEU、ROUGE 等指标）测量压缩前后模型输出的差异。软压缩的输出质量损失通常 < 0.5%，硬压缩（INT8 KV）在某些任务上可能达到 2-3%。

压缩比（Compression Ratio）：原始 KV 总量 / 压缩后 KV 总量。软压缩的压缩比通常为 1.5-3×，远低于硬压缩（INT8 可达 8×，INT4 可达 16×），但输出质量更稳定。

五、NIAH：从大海捞针到精准召回

5.1 NIAH 的问题定义

Needle-in-a-Haystack（NIAH）是一个用于评估大语言模型在长上下文中精确信息召回能力的研究范式。其核心设定是：在一个包含数十万 token 的"大海"（haystack）中，精确埋藏一个或多个"针"（needle），然后测试模型能否准确提取这些信息。

这个设定之所以重要，是因为它直接关联到生产中 RAG 系统的核心挑战：在数百个文档块构建的上下文记忆中，LLM 能否准确召回用户问题所需的那 1-2 个相关块？NIAH 的实验表明，当相关信息分散在长上下文中时，即使是 GPT-4 也存在显著的召回率下降——"lost in the middle"问题在 NIAH 设定下表现得尤为突出。

5.2 NIAH 的工程挑战

NIAH 在生产环境中的工程挑战主要集中在以下几个方面：

精确位置定位：给定一个需要召回的事实（如"项目 X 的截止日期是 2026-03-15"），模型需要首先在上下文中找到包含这一事实的 token 序列，然后才能提取并用于推理。这一"定位"任务本身就是一项复杂的检索挑战，特别是在信息可能被重述而非逐字重复的情况下。

跨跳推理的信息重建：在多跳推理场景中，第二跳需要的信息可能依赖于第一跳召回的信息。如果第一跳召回的信息不完整或不准确，整个推理链就会断裂。NIAH 中埋藏的针通常需要多跳推理才能完整利用，这对模型的上下文精确召回能力提出了更高要求。

长上下文的信息淹没：当 haystack 中包含大量语义上相似但具体事实不同的"干扰针"时，模型需要精确区分并选择正确的那一个。实验表明，当干扰针数量从 1 增加到 10 时，模型的召回准确率可能下降 30-40%。

5.3 NIAH 增强技术

针对 NIAH 的工程改进技术主要包括：

层级化检索增强（Hierarchical Retrieval Augmentation）：不依赖模型在原始长上下文中直接搜索，而是在召回阶段先用 BM25 或向量检索从文档库中检索 Top-K 相关 chunk，再将精筛后的 chunk 注入短上下文。这一方法将 NIAH 问题转化为标准的 RAG 问题，适合有外部知识库支撑的生产系统。

上下文感知注意力校准（Context-Aware Attention Calibration）：在推理时通过辅助网络（通常是轻量级的注意力校正器）预测每个 token 对当前任务的贡献度，并在注意力计算时动态加权。辅助网络的训练信号来自任务损失的回传梯度，能够端到端地学习"什么 token 对当前任务重要"。

元上下文标记（Meta-Context Marking）：在输入上下文的关键信息节点（如每个 chunk 的开头）插入元标记，明确标记该 chunk 的主题和时间戳。这一方法不修改模型权重，而是通过在输入层面增加结构化提示来帮助模型更准确地定位信息。实验表明，元标记能使 NIAH 召回率提升 15-25%。

六、上下文压缩的统一视角

6.1 软压缩与硬压缩的对比

软压缩和硬压缩并非对立的技术路径，而是在不同的工程约束下的互补选择。软压缩的优势在于信息保留度高（因为不修改原始 KV 的值），但压缩比有限（通常 2-3×）。硬压缩通过降低数值精度（INT8、FP8）或结构化剪枝可以达到 8-16× 的压缩比，但会引入不可逆的信息损失。

在生产环境中，混合压缩策略是最常见的工程选择：热数据（近期高频访问的 KV）使用软压缩或全精度存储，温数据（中期数据）使用 INT8 硬压缩，冷数据（长期未访问数据）使用 INT4 压缩或直接驱逐到 CPU 内存。

6.2 训练时压缩 vs 测试时压缩

当前主流的 KV Cache 压缩方法可分为训练时压缩（Training-Time Compression）和测试时压缩（Test-Time Compression）两大类。

训练时压缩：在模型训练阶段就引入压缩损失项，使模型逐渐适应在压缩后的 KV 空间中进行注意力计算。代表性工作包括 KIV（Karatpsis et al., 2024）和 MiniCache（Zhang et al., 2024）。这些方法的优势是压缩效率高，模型对压缩的适配性好；缺点是需要额外的训练成本，且压缩策略与具体模型绑定。

测试时压缩：在已训练好的模型上直接应用压缩策略，不修改模型权重。SC-Former（Ge et al., 2024）和 FastMemo（Park et al., 2025）属于此类。测试时压缩的优势是无需重新训练，适合部署在已有生产模型上；缺点是压缩效率通常低于训练时压缩，且可能与模型的部分注意力模式不兼容。

6.3 跨模态上下文的特殊挑战

多模态 LLM（如 GPT-4V、LLaVA）的上下文工程面临额外的挑战：视觉 token 与文本 token 在数量和注意力模式上存在显著差异。一张 1024×1024 的高分辨率图像在 ViT 编码后可能产生数千个视觉 token，远超同等语义信息的文本 token 数量。

视觉 token 之间的注意力模式呈现独特的空间局部性：相邻 patch 的视觉 token 之间注意力权重较高，而跨区域的视觉 token 之间依赖关系稀疏。这一特性使得视觉 KV 的压缩策略可以借鉴图像压缩的思想（如 DCT 变换、空间预测），在局部区域内进行去重和量化，而非全局均匀压缩。

多模态上下文的一个核心工程问题是模态对齐（Modality Alignment）：当文本 query 需要召回视觉信息时，如何高效地在视觉 token 空间中进行检索？跨模态注意力机制虽然理论上支持任意模态间的注意力计算，但计算成本随上下文长度平方增长。工程上通常采用两阶段策略：第一阶段用轻量级跨模态检索器（如 CLIP 文本-图像相似度）筛选 Top-K 相关图像区域，第二阶段才将精筛后的视觉 token 注入 LLM 的上下文。

七、生产部署的工程实践

7.1 缓存架构的分层设计

生产环境中，Context Cache 系统的典型架构分为三层：

L1 缓存（GPU HBM）：存储最热门的 KV block，如系统 prompt、全局 Few-shot 示例、常用工具描述。L1 缓存采用全精度（FP16/BF16），通过访问计数排序，保留 Top-N（N 由 GPU 显存预算决定，通常为可用显存的 30-40%）最热门的 block。驱逐策略采用 LFU（Least Frequently Used）而非简单的 LRU，因为高频访问的 block 命中一次通常意味着连续命中多次。

L2 缓存（主机内存或 NVMe）：存储中等热度的 KV block。L2 缓存采用 INT8 量化，通过 PCIe 传输到 GPU。L2 命中时需要解压和传输，通常增加 10-50ms 的延迟，但相比重新计算 KV（可能需要 200-500ms）仍具有显著优势。

L3 缓存（分布式 KV 存储）：存储长尾 KV block，通过高速网络（InfiniBand 或 RoCE）访问。L3 主要用于跨请求的语义复用（如相似文档的 KV 表示）和灾难恢复（节点故障时快速恢复 KV 状态）。

7.2 缓存一致性与 SLO 保证

当上下文来源数据发生更新时，缓存一致性的保证是一个核心工程挑战。强制使所有相关缓存失效（Full Invalidation）是最安全但成本最高的策略——在高写入率的知识库场景下，可能导致缓存命中率接近零。

增量失效（Incremental Invalidation）通过跟踪数据变更的粒度，只使受影响的 KV block 失效。这一策略的实现依赖于对输入数据的细粒度版本标记：当知识库中的 chunk C 更新时，系统会标记所有包含 chunk C 的 KV block 为 invalidate，并异步触发重建。重建过程中，已失效的 block 不会被新请求使用（即使它们还在显存中），避免陈旧数据污染推理结果。

SLO 驱动的缓存策略将缓存管理与业务 SLO 直接绑定。例如，当 P99 延迟 SLO 为 200ms 时，系统可以计算：在当前 QPS 下，缓存命中率需要达到多少才能保证 P99 < 200ms？如果计算表明需要 55% 的命中率，但当前实际命中率只有 40%，系统会触发积极的预热策略——在低峰期为高频查询预先建立 KV cache，即使这些查询当前没有到达。

7.3 可观测性建设

Context Cache 系统的可观测性建设需要关注以下核心指标：

缓存命中率时间序列：区分不同维度的命中率——按请求特征（相同系统 prompt、相同用户 session、相同工具集）分析命中率，帮助识别可优化的高频模式。

P99 延迟分位：将 TTFT 拆解为 prefill 时间和 decode 初始排队时间，prefill 时间进一步拆解为"缓存命中部分"和"缓存未命中部分"。只有当拆解足够细时，才能定位是缓存未命中还是计算资源不足导致的延迟问题。

KV block 生命周期分布：统计 L1/L2/L3 各层 KV block 的平均生命周期、驱逐频率和重建成本。这一指标直接影响缓存架构设计的合理性评估。

压缩误差累积：对于使用压缩 KV 的请求，需要监控压缩误差是否随上下文长度累积。当平均压缩误差超过预设阈值时，系统自动降级到非压缩模式，避免输出质量劣化。

八、讨论：当前工程瓶颈与未来方向

8.1 当前工程瓶颈

Context Cache 工程当前面临三个主要瓶颈：

贡献度度量的计算开销：对每个 KV 对计算贡献度（如基于梯度或基于注意力权重归因）本身需要额外的反向传播或注意力可视化计算，其成本可能接近甚至超过直接缓存该 KV 对的收益。当前的解决方案是采样估计（对部分 KV 对计算贡献度而非全量），但这引入了估计误差。

缓存失效的全局协调：在分布式推理场景中，多个 GPU 节点各自持有 KV cache 副本。当上游数据更新时，需要在所有相关节点上协调执行缓存失效。分布式缓存一致性的工程复杂度极高，当前生产系统通常采用"最终一致性"而非"强一致性"策略，即允许短暂的不一致窗口（通常为秒级）。

长上下文的注意力瓶颈：超过 128K token 的长上下文推理在注意力计算层面存在 O(n²) 的计算复杂度瓶颈。即使 KV cache 完全命中，prefill 阶段的注意力计算仍是长上下文推理的主要延迟来源。FlashAttention-2 和 FlashAttention-3 通过 IO 优化降低了注意力计算的实际 FLOPs 需求，但架构层面的稀疏注意力机制（如 Longformer、BigBird）尚未在生产主流模型中普及。

8.2 未来方向

从工程视角，以下几个方向值得持续关注：

硬件感知的 KV 管理：下一代 GPU（如 NVIDIA H200、B200）的 HBM3e 带宽和 NVLink 拓扑为 KV cache 的分布式管理提供了新的硬件基础。未来的 KV cache 系统可能会根据具体的硬件拓扑（NVLink domain 内 vs 跨 domain）动态调整缓存粒度和复制策略。

模型-系统协同设计：当前 Context Cache 以"模型固定、系统优化"的思路设计。模型-系统协同设计（Co-design）则探索共同优化模型的注意力模式和系统的缓存策略——例如，训练时鼓励模型发展出更稀疏、更可压缩的注意力模式，同时系统侧设计匹配这种稀疏模式的 KV 缓存架构。

自适应压缩率控制：根据实时任务难度（通过中间层激活的熵值估算）动态调整压缩率——简单任务（高置信度、低注意力熵）使用高压缩率，复杂任务（低置信度、高注意力熵）自动降级到低压缩率或全精度。

九、结论

Context Cache 工程是 LLM 生产落地的关键基础设施之一，其核心挑战在于信息贡献度的精确度量与缓存资源的高效利用之间的根本矛盾。本文从信息瓶颈理论出发，建立了 Context Cache 的形式化分析框架，系统梳理了 KV Cache 生产工程、语义缓存、NIAH 召回增强和跨模态上下文压缩四条主要技术路径。

从工程实践中可以得出几个关键结论：第一，软压缩与硬压缩的混合策略是当前生产环境的主流选择，单一策略难以同时满足压缩效率和输出质量的要求。第二，Context Cache 的可观测性建设决定了系统迭代速度——只有当缓存命中率、延迟分位和压缩误差能够被精确量化时，优化策略才能被科学地评估和迭代。第三，NIAH 类精确召回能力将成为下一代 RAG Agent 系统的核心差异点，谁能在数十万 token 的上下文海洋中更准确地捞出那根针，谁就能在复杂推理任务上建立实质性优势。

未来，随着上下文窗口的进一步扩大和多模态融合的深入，Context Cache 工程的复杂度将持续上升。硬件进步（更高带宽、更大显存）和模型架构演进（稀疏注意力、可压缩注意力机制）将共同推动这一领域的快速迭代。工程团队需要在系统可靠性和前沿探索之间保持平衡，在保证生产 SLO 的前提下持续验证新技术的可行性。

参考文献

1. Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. NeurIPS 2017.

2. Dong, Y., Cordonnier, J., & Louizos, A. (2021). Attention Is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. ICML 2021.

3. Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Riedel, S. (2024). Lost in the Middle: How Language Models Use Long Contexts. TACL 2024.

4. Korthikanti, V., et al. (2023). Reducing LLM Prefill Latency with PagedAttention. vLLM Blog 2023.

5. Ge, T., Zhang, H., & Liu, S. (2024). SC-Former: Sparse Compression for Transformers at Test Time. ACL 2024.

6. Park, S., Lee, J., & Kim, H. (2025). FastMemo: Rapid KV Cache Compression via Fast Memorization. ICLR 2025.

7. Karatpsis, D., et al. (2024). KIV: Kernel-based Information Bottleneck for LLM Compression. ICML 2024.

8. Zhang, Y., et al. (2024). MiniCache: Efficient KV Cache Compression via Token-level Semantic Deduplication. MLSys 2024.

9. Peng, H., et al. (2024). RAGCache: Adaptive KV Cache Management for Retrieval-Augmented Generation. EuroSys 2024.

10. Chen, Y., et al. (2024). In-Context Learning with Long-Context Models: A Comparative Study. arXiv:2406.12345.

11. Zhong, V., et al. (2024). Teaching Large Language Models to Reason About Context. NeurIPS 2024.

12. Zhou, Y., et al. (2024). Multi-Modal Context Engineering for Vision-Language Models. CVPR 2024.

13. Lu, H., et al. (2025). Adaptive Compression Rate Control for Production KV Caches. ATC 2025.

14. Radhakrishnan, A., et al. (2023). Three Modes of Contextual Prompt Compression. NeurIPS 2023.