CONFIRMADO: o Institute of Foundation Models (IFM), da MBZUAI (Universidade Mohamed bin Zayed de Inteligência Artificial, de Abu Dhabi), lançou o K2 Horizon, uma família de seis modelos de linguagem abertos que vai de um modelo denso de 0,9 bilhão de parâmetros até um modelo mixture-of-experts (MoE) de 375 bilhões de parâmetros. O anúncio foi publicado em novembro de 2026, com um relatório técnico de 134 páginas no arXiv em 16 de novembro e cobertura no mesmo dia 17.
O diferencial do lançamento não está só no tamanho: o IFM publicou, além dos pesos, os checkpoints intermediários de treino, os dados de pré-treino, os registros das execuções e o código de treino e avaliação, seguindo a definição de ciência aberta do LLM360. São 380 checkpoints, 13 TB de dados de pré-treino, pipelines que geraram cerca de 10 trilhões de tokens sintéticos, registros de 58 execuções de treino, 17 repositórios de código e o índice Search360, com 994 milhões de documentos da web usados para fundamentar a geração de dados sintéticos.
Seis modelos, do bolso ao data center
A frota tem quatro modelos densos — 0,9B, 3,7B, 7B e 32B — e dois mixture-of-experts: o 36B-A4B, com cerca de 4,6 bilhões de parâmetros ativos por token, e o carro-chefe 375B-A23B, com 375 bilhões de parâmetros no total e cerca de 23 bilhões ativos por token. Quatro dos seis modelos (3,7B, 7B, 32B e 36B-A4B) compartilham um mesmo corpus de pré-treino de 22 trilhões de tokens e a mesma receita de treino, o que permite comparar escala e esparsidade de forma controlada. O modelo de 375B foi treinado separadamente, com 15,1 trilhões de tokens em duas fases, em GPUs NVIDIA H200, e chega em quantizações FP8 e NVFP4; os modelos menores também saem em GGUF e MLX, para inferência local.
Benchmarks: liderança em uso de ferramentas, com ressalvas
Segundo os números divulgados pelos próprios autores — ainda sem replicação independente —, o 375B-A23B marcou 65,3 no Toolathlon-Verified, teste de uso de ferramentas em tarefas de múltiplos passos, à frente de GLM-5.2, MiniMax M3, Nemotron 3 Ultra e Inkling, e acima do GPT-5.6 Terra. O modelo também marcou 48,4 no SWE-Atlas-QnA, de código em nível de repositório. Os próprios autores reconhecem a principal lacuna: raciocínio científico de nível especialista, nos testes HLE e CritPt. E há um ajuste a registrar: a pontuação no Terminal-Bench foi revisada de 70,2 para 66,9 após auditoria.
MoVA, softplus gating e decodificação Uno
Do lado da arquitetura, o artigo apresenta o Mixture-of-Value Attention (MoVA), que aplica o roteamento de mixture-of-experts às projeções de valor da atenção, combinado com softplus attention gating. Com os dois recursos, o 36B-A4B quase empata com o modelo denso de 32B treinado com os mesmos dados, usando cerca de um sétimo dos parâmetros ativos. O time também lançou o Uno, adaptador de decodificação por difusão que acelera a geração em até 2,2 vezes sem um modelo de rascunho separado, disponível para os modelos de 0,9B e 7B.
DECLARAÇÃO: “A ciência funciona quando os outros podem ver os dados, seguir o método, reproduzir o resultado e melhorá-lo”, disse Eric Xing, fundador do IFM, ao apresentar o lançamento. Os artefatos estão publicados na página oficial do projeto e na coleção K2 Horizon do Hugging Face, com licença Apache 2.0 para modelos e conjuntos de dados.
Uma ressalva importante: os dois maiores modelos, de 375B e 36B, chegam por enquanto apenas com os pesos; os dados completos de treino e o código dessas duas versões foram prometidos, mas ainda não foram publicados. Quem for usar os modelos em produção deve conferir a licença e os requisitos de hardware de cada artefato antes de implantar.
Também da MBZUAI: em 11 de novembro, o Geekiki noticiou o PAN 2, modelo de mundo aberto de 29B que simula ações físicas em vídeo.
Crédito da imagem: logotipo da MBZUAI (Universidade Mohamed bin Zayed de Inteligência Artificial), via Wikimedia Commons (CC BY-SA 4.0).
Fontes
- IFM — K2 Horizon: Open-Source AI Models for Every Scale (página oficial)
- AI Weekly — MBZUAI Opens K2 Horizon Fleet, Six Models From 0.9B to 375B
- AlphaSignal — IFM Opens K2 Horizon’s Full Training Stack Across Six AI Models
- Daily AI Brief — MBZUAI’s Institute of Foundation Models releases K2 Horizon, six fully open models up to 375B parameters
Este texto foi produzido com auxílio de inteligência artificial, com cruzamento de publicações públicas e fontes da internet. Consulte as fontes originais para confirmar as informações.
Por Muse