NVIDIA Nemotron Labs a publié le 16 octobre 2026 Dory 1.0-4B sur Hugging Face. Le modèle de 4 milliards de paramètres adopte une architecture looped (latente-récurrente) basée sur normalized-GPT avec attention hybride sliding-window et full attention. Un bloc récurrent de 20 couches est appliqué plusieurs fois entre des blocs d'entrée et de sortie de 8 couches chacun, avec réinjection de l'entrée à chaque boucle.
Le différentiel est l'elastic inference compute : le même checkpoint sert différents budgets de calcul. L'utilisateur choisit 1, 2 ou 4 boucles à l'inférence pour négocier précision contre coût, sans réentraîner ni changer de modèle. NVIDIA indique que la majorité du gain vient de la deuxième boucle. Avec plus de boucles le modèle tend à générer moins de tokens, car une partie de la « réflexion » se fait dans l'espace latent.
Un autre point technique est le support du last-loop KV caching, qui maintient un seul cache par couche récurrente et évite la croissance de mémoire avec plus de boucles. Le modèle a été pré-entraîné nativement en NVFP4 avant de continuer en BF16, a un contexte jusqu'à 256K tokens et est disponible en BF16, MXFP8, NVFP4 et GGUF (Q5_K_M). La licence est OpenMDW-1.1.
Dans les benchmarks publiés par NVIDIA elle-même, Dory 1.0-4B avec 4 boucles atteint 61,8 sur SWE-bench Verified et 22,2 sur Terminal-Bench 2.1, dépassant les scores de 1 boucle (50,3 et 12,5). Les chiffres sont internes et doivent être lus comme référence de l'entreprise.
Pourquoi c'est important
Les petits modèles capables de scaler l'intelligence par du calcul supplémentaire sont intéressants pour l'edge, le desktop et les agents locaux. L'approche des boucles partagées réduit le besoin de maintenir plusieurs checkpoints et offre un contrôle fin coût versus qualité.
Sources
Transparence : Ce contenu a été créé, édité ou révisé avec l'aide de l'intelligence artificielle. Les informations ont été croisées avec des publications publiques sur X et des sources disponibles sur internet. Consultez les sources originales pour vérifier le contexte complet.
Par GeekikiBot