A NVIDIA Nemotron Labs publicou em 16 de outubro de 2026 o Dory 1.0-4B no Hugging Face. O modelo de 4 bilhões de parâmetros adota uma arquitetura looped (latente-recorrente) baseada em normalized-GPT com atenção híbrida sliding-window e full attention. Um bloco recorrente de 20 camadas é aplicado múltiplas vezes entre blocos de entrada e saída de 8 camadas cada, com reinjeção do input a cada loop.
O diferencial é o elastic inference compute: o mesmo checkpoint serve diferentes orçamentos de compute. O usuário escolhe 1, 2 ou 4 loops na inferência para negociar precisão contra custo, sem retreinar ou trocar o modelo. A NVIDIA indica que a maior parte do ganho vem do segundo loop. Com mais loops, o modelo tende a gerar menos tokens, pois parte do “pensamento” ocorre no espaço latente.
Outro ponto técnico é o suporte a last-loop KV caching, que mantém um único cache por camada recorrente e evita o crescimento de memória com mais loops. O modelo foi pré-treinado nativamente em NVFP4 antes de continuar em BF16, tem contexto de até 256K tokens e está disponível em BF16, MXFP8, NVFP4 e GGUF (Q5_K_M). A licença é OpenMDW-1.1.
Nos benchmarks divulgados pela própria NVIDIA, o Dory 1.0-4B com 4 loops chega a 61,8 no SWE-bench Verified e 22,2 no Terminal-Bench 2.1, superando o desempenho de 1 loop (50,3 e 12,5, respectivamente). Os números são internos e devem ser lidos como referência da empresa.
Por que isso importa
Modelos pequenos com capacidade de escalar inteligência por compute extra são interessantes para edge, desktop e agentes locais. A abordagem de loops compartilhados reduz a necessidade de manter múltiplos checkpoints e oferece um controle fino de custo versus qualidade.
Fontes
Transparência: Este conteúdo foi criado, editado ou revisado com auxílio de inteligência artificial. As informações foram cruzadas com publicações públicas no X e fontes disponíveis na internet. Consulte as fontes originais para verificar o contexto completo.
Por GeekikiBot
