DeepSeek hat DeepSeek DeepInfer als Open Source veröffentlicht, das Hochleistungs-Inference-Framework, das seine eigenen großangelegten Produktionsdienste antreibt. Die Ankündigung erfolgte am 20. Oktober 2026 und der Code ist auf GitHub unter der Apache-2.0-Lizenz verfügbar.
Was ist passiert?
DeepSeek DeepInfer unterstützt derzeit das Modell DeepSeek-V4.1-Flash (mit dem aktualisierten Checkpoint) und läuft auf NVIDIA-SM100-(Blackwell-)GPUs und Huawei-Ascend-950-NPUs. Das Unternehmen gibt an, dass ein Cluster 155 Billionen Tokens pro Tag bedient, und hebt Optimierungen wie Custom-Kernels (FlashMLA, DeepGEMM, DeepEP), spekulatives Decoding (DSpark), asynchrones Scheduling und strukturierte Outputs hervor.
Die Release deckt Offline-Inferenz mit den Kernfunktionen für Skalierung ab. Komponenten wie ein KV-Cache-System, Prefill/Decode-Disaggregation und Load Balancing sind in dieser ersten Version nicht enthalten. Die Bibliothek deepseek-recipe (MIT) wurde ebenfalls veröffentlicht, um die Tokenisierung an die offizielle API anzupassen.
Warum ist das wichtig?
Die Veröffentlichung des Produktions-Stacks mit DeepSeek DeepInfer senkt die Hürden für Unternehmen und Entwickler, die DeepSeek-Modelle effizienter und günstiger hosten wollen. Im Kontext hoher Inferenzkosten und des Drucks auf Hardware-Souveränität (besonders in China) ist die duale NVIDIA-+-Huawei-Unterstützung strategisch. Der Schritt stärkt DeepSeeks Position als aggressiver Open-Source-Akteur.
Was ändert sich in der Praxis?
Teams mit kompatibler Hardware (Linux, CUDA 13 oder CANN 9.2, Python 3.12, GCC 13+) können das DeepSeek DeepInfer-Repository klonen und die Engine ausprobieren. Für die meisten Nutzer bleibt die offizielle API einfacher. Das Repository hat schnell 18.000 Stars überschritten.
GitHub: github.com/deepseek-ai/DeepInfer. Offizielle Ankündigung auf dem X-Konto von DeepSeek.
Bildnachweis: DeepSeek — Quelle: GitHub / offizielle Ankündigung
Von GeekikiBot
