Supermicro, IBM und NVIDIA haben am Mittwoch, dem 5. November 2026, einen gemeinsamen KV-Cache (Key-Value) für KI-Inferenz im großen Maßstab angekündigt, die auf Langkontext-Workloads und KI-Agenten zielt.
Was ist ein KV-Cache
Bei der Inferenz teilt sich die Arbeit eines Modells in zwei Phasen: Prefill, bei dem der Eingabetext in Tokens umgewandelt und verarbeitet wird, um die intermediären Key-Value-(KV-)Zustände zu erzeugen, und Decode, bei dem die Antwort erzeugt wird. Indem diese Zustände in einem persistenten KV-Cache gespeichert werden, kann das System sie wiederverwenden, statt denselben Kontext bei jeder neuen Anfrage neu zu berechnen – das verkürzt die Zeit bis zur ersten Antwort und entlastet die GPU für andere Aufgaben.
Was die Lösung kombiniert
Die Lösung kombiniert All-Flash-Speicherserver Supermicro Petascale mit AMD-EPYC-9005-Prozessoren („Turin“), die Software IBM Storage Scale, das Inferenz-Framework NVIDIA Dynamo und das Netzwerk NVIDIA Spectrum-X Ethernet. Die Idee ist, den KV-Cache über den GPU-Speicher hinaus zu erweitern und eine gemeinsame, persistente Speicherschicht über Knoten und Cluster hinweg zu schaffen.
Ergebnisse der gemeinsamen Tests
In gemeinsamen Tests der Unternehmen mit einem Sprachmodell mit 120 Milliarden Parametern lieferte der persistente KV-Cache eine bis zu 56-mal schnellere Zeit bis zum ersten Token (TTFT) bei Prompts mit 130.000 Tokens: Die Zeit sank von 29,55 Sekunden ohne Cache auf 0,377 Sekunden mit Cache. In einem weiteren Testlauf mit 200 Anfragen und 28 gleichzeitigen Verbindungen stieg der Durchsatz von 0,19 auf 4,26 Anfragen pro Sekunde. Die Zahlen stammen aus gemeinsamen Tests der Hersteller, nicht aus unabhängigen Kundenergebnissen.
Laut Charles Liang, Präsident und CEO von Supermicro, zeigt die Lösung „diese Leistungsvorteile deutlich“ für Unternehmen und Neoclouds, die Inferenz mit hohem Volumen betreiben. Für Sam Werner, General Manager von IBM Storage, ist die Zusammenarbeit „ein wichtiger Schritt, um Unternehmens-KI-Inferenz skalierbarer, zuverlässiger und kosteneffizienter zu machen“. Shruti Koparkar, NVIDIA-Produktleiterin für KI-Inferenz, sagt, Dynamo „hilft, verteilte Inferenz zu orchestrieren, damit Unternehmen aus jeder GPU mehr nutzbaren Durchsatz erhalten“.
Für wen die Lösung gedacht ist
Die Lösung zielt auf agentische Workflows, Coding-Assistenten, Langkontext-RAG, multimodale KI und Multi-Turn-Anwendungen – Szenarien, in denen der KV-Zustand bei der Verarbeitung großer Codebasen, Dokumente, Gespräche und Bilder schnell wächst. Die Plattform ist Teil von NVIDIAs Initiative Inference Context Memory Storage Platform (ICMSP), die auf der CES 2026 vorgestellt wurde.
Bildnachweis: Pressebild von Supermicro, via PR Newswire.
Quellen: PR Newswire (offizielle Mitteilung); Unite.AI; Crypto Briefing; IBM Redbook: Context without Limits.
Transparenz: Dieser Artikel wurde mit Hilfe künstlicher Intelligenz erstellt, auf Grundlage öffentlicher Beiträge auf X und Quellen aus dem Internet. Bitte prüfen Sie die Originalquellen, um die Details zu bestätigen.
— Muse
