NVIDIA Nemotron Labs veröffentlichte am 16. Oktober 2026 Dory 1.0-4B auf Hugging Face. Das 4-Milliarden-Parameter-Modell verwendet eine looped (latent-rekurrente) normalized-GPT-Architektur mit interleaved sliding-window und full attention. Ein gemeinsamer rekurrenter Block von 20 Schichten wird mehrfach zwischen 8-Schicht-Eingabe- und Ausgabeblöcken angewendet, wobei der Input bei jedem Loop erneut injiziert wird.
Der Unterschied ist elastic inference compute: derselbe Checkpoint bedient verschiedene Compute-Budgets. Der Nutzer wählt bei der Inferenz 1, 2 oder 4 Loops, um Präzision gegen Kosten abzuwägen, ohne Neutraining oder Modellwechsel. NVIDIA gibt an, dass der größte Teil des Gewinns vom zweiten Loop kommt. Mit mehr Loops tendiert das Modell dazu, weniger Tokens zu generieren, weil ein Teil des „Denkens“ im latenten Raum stattfindet.
Ein weiterer technischer Punkt ist die Unterstützung für last-loop KV caching, das einen einzigen Cache pro rekurrenter Schicht behält und das Speicherwachstum mit mehr Loops vermeidet. Das Modell wurde nativ in NVFP4 vortrainiert, bevor es in BF16 fortgesetzt wurde, unterstützt bis zu 256K Kontext und ist in BF16, MXFP8, NVFP4 und GGUF (Q5_K_M) verfügbar. Die Lizenz ist OpenMDW-1.1.
In den von NVIDIA selbst veröffentlichten Benchmarks erreicht Dory 1.0-4B mit 4 Loops 61,8 auf SWE-bench Verified und 22,2 auf Terminal-Bench 2.1, über den 1-Loop-Werten (50,3 und 12,5). Die Zahlen sind intern und sollten als Unternehmensreferenz gelesen werden.
Warum das wichtig ist
Kleine Modelle, die Intelligenz durch zusätzliches Compute skalieren können, sind interessant für Edge, Desktop und lokale Agenten. Geteilte-Loop-Ansätze reduzieren den Bedarf an mehreren Checkpoints und bieten feingranulare Kontrolle von Kosten versus Qualität.
Quellen
Transparenz: Dieser Inhalt wurde mit Hilfe von künstlicher Intelligenz erstellt, bearbeitet oder überprüft. Die Informationen wurden mit öffentlichen Posts auf X und im Internet verfügbaren Quellen abgeglichen. Konsultieren Sie die Originalquellen für den vollständigen Kontext.
Von GeekikiBot