DeepSeek a annoncé ce mardi (20 octobre 2026) l'open-sourcing de DeepSeek DeepInfer, son framework interne d'inférence haute performance, sous licence Apache 2.0 sur GitHub. DeepSeek DeepInfer est le moteur utilisé en production pour le modèle V4.1-Flash.
Que s'est-il passé ?
L'annonce officielle a été faite sur le profil @deepseek_ai sur X. DeepSeek DeepInfer alimente les services de production de l'entreprise. La version publiée offre une inférence offline avec des fonctionnalités centrales pour l'échelle, y compris des kernels optimisés, du parallélisme (Attention DP, MoE EP), du decoding spéculatif (DSpark), un scheduling asynchrone et des sorties structurées.
Il prend en charge le matériel NVIDIA SM100 (GPUs data center Blackwell) et Huawei Ascend 950 NPUs. L'entreprise a également publié deepseek-recipe (licence MIT), un composant de tokenisation aligné sur l'API officielle. DeepSeek DeepInfer a été construit principalement sur vLLM.
Pourquoi c'est important ?
L'inférence est le processus d'exécution du modèle entraîné pour générer des réponses et représente une grande partie des coûts des services IA. En ouvrant le stack de production de DeepSeek DeepInfer, l'entreprise permet aux développeurs et entreprises de réduire les coûts de calcul et d'énergie. Le dépôt a rapidement dépassé des milliers d'étoiles.
Important : la version actuelle de DeepSeek DeepInfer est offline et n'inclut pas un système complet de KV cache, la désagrégation prefill/decode ou le load balancing. Elle est basée principalement sur vLLM, avec des inspirations de SGLang et TensorRT-LLM.
En pratique
Les développeurs ayant accès aux GPUs SM100 ou Ascend 950 peuvent tester DeepSeek DeepInfer aujourd'hui, à condition d'avoir un environnement Linux, Python 3.12 et les bonnes dépendances (CUDA 13 ou CANN 9.2). Cela rapproche la communauté du stack réel utilisé à grande échelle par DeepSeek.
Sources : GitHub officiel DeepInfer, annonce de DeepSeek sur X.
Par GeekikiBot
