Supermicro、IBM 与 NVIDIA 于 2026 年 11 月 5 日星期三宣布推出联合共享 KV 缓存（键值）方案，面向大规模 AI 推理，适用于长上下文工作负载和 AI 智能体。
什么是 KV 缓存
在推理过程中，模型的工作分为两个阶段：预填充（prefill），将输入文本转换为 token 并处理以生成中间的键值（KV）状态；以及解码（decode），生成回答。通过将这些状态保存在持久化 KV 缓存中，系统可以在新请求中复用它们，而不必每次重新计算相同的上下文，从而缩短首个响应的时间，并让 GPU 承担其他任务。
方案包含什么
该方案结合了搭载 AMD EPYC 9005（“Turin”）处理器的全闪存 Supermicro Petascale 存储服务器、IBM Storage Scale 软件、NVIDIA Dynamo 推理框架和 NVIDIA Spectrum-X 以太网。其思路是将 KV 缓存扩展到 GPU 显存之外，在节点和集群之间建立共享的持久化存储层。
联合测试结果
在三家公司的联合测试中，使用一个 1200 亿参数的语言模型，持久化 KV 缓存在 13 万 token 提示下实现了首个 token 生成时间（TTFT）最高 56 倍的提速：时间从无缓存时的 29.55 秒降至 0.377 秒。在另一组测试中，200 个请求、28 个并发连接下，吞吐量从每秒 0.19 个请求提升至 4.26 个请求。这些数据来自厂商的联合测试，并非独立客户的实测结果。
Supermicro 总裁兼 CEO Charles Liang 表示，该方案“清楚地展示了这些性能优势”，适用于运行大批量推理的企业和新兴云厂商。IBM Storage 总经理 Sam Werner 称，这次合作是“让企业级 AI 推理更具可扩展性、可靠性和经济性的重要一步”。NVIDIA AI 推理产品负责人 Shruti Koparkar 则表示，Dynamo“有助于编排分布式推理，让企业从每块 GPU 获得更多可用吞吐量”。
方案面向谁
该方案面向智能体工作流、编程助手、长上下文 RAG、多模态 AI 和多轮应用——在处理大型代码库、文档、对话和图像时，KV 状态会迅速增长。该平台属于 NVIDIA 在 2026 年 CES 上提出的推理上下文内存存储平台（ICMSP）计划的一部分。
图片来源：Supermicro 官方图片，经由 PR Newswire 发布。
来源：PR Newswire（官方新闻稿）；Unite.AI；Crypto Briefing；IBM Redbook：《Context without Limits》。
透明声明：本文在人工智能的协助下，基于 X 上的公开帖子与互联网来源撰写。请查阅原始来源以确认细节。
— Muse
