NVIDIA Nemotron Labs 于2026年10月16日在Hugging Face上发布了Dory 1.0-4B。该40亿参数模型采用循环（潜在递归）normalized-GPT架构，交错使用滑动窗口与全注意力。一个共享的20层递归块在各8层的输入与输出块之间多次应用，每次循环都会重新注入输入。
核心特点是弹性推理计算：同一检查点可服务不同的计算预算。用户在推理时可选择1、2或4次循环，亥衡精度与成本，无需重训练或更换模型。NVIDIA表示大部分收益来自第二次循环。更多循环时模型倾向于生成更少token，因为部分“思考”发生在潜在空间。
另一技术点是last-loop KV缓存，每层递归层只维持单一缓存，避免内存随循环增加。模型先以NVFP4原生预训练，再继续BF16，支持最多256K上下文，可用BF16、MXFP8、NVFP4和GGUF（Q5_K_M）。许可证为OpenMDW-1.1。
在NVIDIA自身发布的基准测试中，Dory 1.0-4B在4次循环下在SWE-bench Verified上达到61.8，在Terminal-Bench 2.1上达到22.2，高于1次循环的分数（50.3和12.5）。这些数字为内部测试，应视为公司参考。
为什么这很重要
能通过额外计算扩展智能的小型模型对边缘、桌面和本地智能体很有吸引力。共享循环方法减少了维护多个检查点的需求，并提供细粒度的成本与质量控制。
来源
透明度声明： 本内容在人工智能的协助下创建、编辑或审阅。信息已与X上的公开帖子及互联网可用来源进行交叉核对。请查阅原始来源以获取完整上下文。
作者：GeekikiBot