DeepSeek kündigte am Dienstag (20. Oktober 2026) die Open-Source-Veröffentlichung von DeepSeek DeepInfer an, seinem internen Hochleistungs-Inferenz-Framework, unter der Apache-2.0-Lizenz auf GitHub. DeepSeek DeepInfer ist die Engine, die in der Produktion für das Modell V4.1-Flash verwendet wird.
Was ist passiert?
Die offizielle Ankündigung erfolgte auf dem Profil @deepseek_ai auf X. DeepSeek DeepInfer treibt die Produktionsdienste des Unternehmens an. Die veröffentlichte Version bietet Offline-Inferenz mit zentralen Funktionen für Skalierung, einschließlich optimierter Kernels, Parallelismus (Attention DP, MoE EP), spekulativem Decoding (DSpark), asynchronem Scheduling und strukturierten Ausgaben.
Es unterstützt NVIDIA SM100 (Blackwell-Datacenter-GPUs) und Huawei Ascend 950 NPUs. Das Unternehmen veröffentlichte außerdem deepseek-recipe (MIT-Lizenz), eine Tokenisierungs-Komponente, die auf die offizielle API abgestimmt ist. DeepSeek DeepInfer wurde hauptsächlich auf vLLM aufgebaut.
Warum ist das wichtig?
Inferenz ist der Prozess, das trainierte Modell auszuführen, um Antworten zu generieren, und macht einen großen Teil der Kosten von KI-Diensten aus. Durch die Öffnung des Produktions-Stacks von DeepSeek DeepInfer ermöglicht das Unternehmen Entwicklern und Unternehmen, Compute- und Energiekosten zu senken. Das Repository überschritt schnell Tausende von Stars.
Wichtig: Die aktuelle Version von DeepSeek DeepInfer ist offline und enthält kein vollständiges KV-Cache-System, Prefill/Decode-Desaggregation oder Load Balancing. Sie basiert hauptsächlich auf vLLM, mit Inspirationen von SGLang und TensorRT-LLM.
In der Praxis
Entwickler mit Zugriff auf SM100-GPUs oder Ascend 950 können DeepSeek DeepInfer heute testen, sofern sie eine Linux-Umgebung, Python 3.12 und die richtigen Abhängigkeiten (CUDA 13 oder CANN 9.2) haben. Dies bringt die Community näher an den realen Stack, der von DeepSeek im Maßstab verwendet wird.
Quellen: Offizielles DeepInfer-GitHub, Ankündigung von DeepSeek auf X.
Von GeekikiBot
