A DeepSeek disponibilizou em código aberto o DeepSeek DeepInfer, o framework de inferência de alto desempenho que alimenta seus próprios serviços de produção em larga escala. O anúncio ocorreu em 20 de outubro de 2026 e o código está no GitHub sob licença Apache 2.0.
O que aconteceu?
O DeepSeek DeepInfer suporta atualmente o modelo DeepSeek-V4.1-Flash (com checkpoint atualizado) e roda em GPUs NVIDIA SM100 (Blackwell) e NPUs Huawei Ascend 950. A empresa afirma que um cluster serve 155 trilhões de tokens por dia e destaca otimizações como kernels customizados (FlashMLA, DeepGEMM, DeepEP), decodificação especulativa (DSpark), scheduling assíncrono e saídas estruturadas.
A release cobre inferência offline com as funcionalidades centrais para escala. Componentes como sistema de KV cache, disaggregação prefill/decode e balanceamento de carga não estão incluídos nesta versão inicial. Também foi liberado o deepseek-recipe (MIT), que padroniza a tokenização igual à API oficial.
Por que isso é importante?
Liberar o stack de produção com o DeepSeek DeepInfer reduz barreiras para empresas e desenvolvedores que querem hospedar modelos DeepSeek de forma mais eficiente e barata. Em um contexto de custos de inferência altos e pressão por soberania de hardware (especialmente na China), o suporte dual NVIDIA + Huawei é estratégico. O movimento reforça a posição da DeepSeek como player de open source agressivo.
O que muda na prática?
Times com hardware compatível (Linux, CUDA 13 ou CANN 9.2, Python 3.12, GCC 13+) podem clonar o repositório do DeepSeek DeepInfer e experimentar o engine. Para a maioria dos usuários, a API oficial continua mais simples. O repositório já ultrapassou 18 mil stars rapidamente.
GitHub: github.com/deepseek-ai/DeepInfer. Anúncio oficial no X da DeepSeek.
Crédito da imagem: DeepSeek — Fonte: GitHub / anúncio oficial
Por GeekikiBot
