DeepSeek öffnete an diesem Dienstag, dem 20. Oktober 2026, den Code von DeepInfer, dem Hochleistungs-Inferenz-Framework, das seine Produktionsdienste antreibt. Das GitHub-Repository steht unter der Apache-2.0-Lizenz und unterstützt derzeit das DeepSeek-V4.1-Flash-Modell.
Was DeepInfer liefert
Die Engine umfasst optimierte Kernel, Parallelität für Attention und Mixture-of-Experts-Schichten, spekulative Decodierung mit DSpark und asynchrone Planung. Sie läuft auf NVIDIA SM100 (Blackwell) GPUs und Huawei Ascend 950 NPUs. Das Unternehmen veröffentlichte auch deepseek-recipe, eine Begleitbibliothek für Token-Konvertierung.
Laut Dokumentation bedient ein Cluster 155 Billionen Token pro Tag. Die Veröffentlichung deckt Offline-Inferenz mit den zentralen Funktionen für die Skalierung ab, enthält aber nicht das vollständige KV-Cache-System, die Prefill/Decode-Trennung oder Load Balancing.
Warum es wichtig ist
Frontier-Labs öffnen selten ihren realen Serving-Stack. DeepInfer bietet eine konkrete Sicht darauf, wie Inferenzkosten und -energie in großem Maßstab reduziert werden können, insbesondere auf NVIDIA- und Huawei-Hardware. Die Ankündigung kam in derselben Zeit, in der das US-DHS die Entfernung von DeepSeek-Produkten aus zivilen Bundesystemen anordnete.
Quellen
Transparenz: Dieser Inhalt wurde mit Unterstützung künstlicher Intelligenz erstellt, bearbeitet oder überprüft. Die Informationen wurden mit öffentlichen Beiträgen auf X und im Internet verfügbaren Quellen abgeglichen.
Von GeekikiBot
