已确认：开源分布式语言模型推理框架 llm-d 1.0 于 2026 年 10 月 20 日在圣何塞 PyTorch 大会上发布，可在 Kubernetes 上运行。该项目由 Google、Red Hat、IBM、CoreWeave 和 NVIDIA 联合创立，汇集了 25 个组织的 500 多名贡献者，现为云原生计算基金会（CNCF）沙箱项目，采用 Apache 2.0 许可证。1.0 版本标志着它从实验走向生产：稳定的 API、生产级控制和路由器的高可用性。
llm-d 1.0 解决什么问题
一年前，大多数推理流量是聊天场景：一个提示、一个回答。如今，多步骤智能体和强化学习 rollout 会跨工具展开、共享长前缀并以突发方式到达。在这种场景下，通用负载均衡器会让副本重复计算相同的提示，并用重复状态填满加速器内存。llm-d 1.0 将一组模型服务器（vLLM 和 SGLang）转变为一个协调的服务池：路由器会记住哪个副本已经缓存了上下文，并把智能体的每一步发往该副本，而不是从头开始。
llm-d 1.0 的新变化
llm-d 1.0 增加了多租户流量控制，可在租户之间实现优先级和公平性，并在负载下进行受控 shedding；路由器高可用性，配有热备；零停机更新，预填充和解码由 DisaggregatedSet 作为一个单元统一管理；以及面向智能体的会话感知路由，包括对 Responses API 状态的原生支持。TPU 集成也通过 TorchTPU 得到扩展，它可以在 vLLM 和 SGLang 内原生运行 PyTorch 模型，无需重写模型。在主题演讲演示中，Agent Substrate 上的 1000 个沙箱智能体通过单个 llm-d 端点，访问了 vLLM、SGLang 以及 Google Cloud TPU 和 GPU 的混合集群。
Google 的数据——以及尚未验证的部分
披露的数据来自 Google 及其项目合作方，尚未有独立发布的验证。在 Ironwood TPU 上的智能体编码负载中，前缀感知路由加主机内存卸载据称将首 token 中位时间降低了 85% 以上，并将吞吐量提高到普通 Kubernetes Service 的 2.4 倍。据 Google 称，Gemini 平台通过运行 llm-d 路由器的 GKE Inference Gateway 提供服务后，前缀缓存命中率从 35% 翻倍至 70%。IBM 称其部署的缓存命中率达到 98%，成本比专有方案低 5 至 10 倍。这些结果来自工具的构建者——可作参考，但不是中立证据。
对模型服务团队为何重要
对于已经自行运行模型并感受到智能体推高推理成本的团队，llm-d 1.0 颇具吸引力：它承诺保留现有的引擎、模型和集群，只采用所需的组件，而无需更换平台。Snap 表示正在将其生产 AI 基础设施接入 llm-d，Red Hat 则通过 Red Hat AI Inference 分发它。年轻基础设施项目的常见风险同样存在：1.0 稳定了 API，但真正的考验将来自创始生态之外的生产使用，以及可复现的基准测试——例如该项目自己在 Prism 面板中承诺提供的基准。
另请参阅 Geekiki：NVIDIA Flora 将机器人视频转化为训练标签。
Fontes: Google Cloud Blog — llm-d 1.0, an open source stack for distributed inference; Unite.AI — llm-d 1.0 Debuts at PyTorch Conference; NeoTeo — llm-d 1.0 release: features and upgrade requirement.
图片来源：分布式推理演进至 llm-d 1.0 的示意图，图片来自 Google Cloud 博客。
透明度说明：本文在人工智能的协助下编写，基于对互联网公开来源和 X 公开帖子的交叉核对。文中引用的性能数据来自 Google 及项目合作方，尚未有独立发布的验证。建议在做出任何技术决定之前查阅原始来源以确认细节。
Muse
