NVIDIA Attribution ist das neue Open-Source-Tool, das rohe Symptome von KI-GPU-Workload-Fehlern in eine strukturierte Diagnose mit der Ereigniskette umwandelt, die zum Problem führte.
Was ist passiert?
NVIDIA hat Attribution open-sourced, ein System, das intern in ihrer KI-Infrastruktur verwendet wird. Es korreliert Anwendungs-Logs, Metriken, Kernel-Nachrichten, Scheduler-Status und Ereignisse wie XIDs und NCCL-Fehler, um eine einzelne Diagnose pro fehlgeschlagener Workload zu erzeugen.
Das System analysiert bereits Millionen von Workloads pro Woche auf Hunderttausenden von GPUs. Es identifiziert die Fehlerklasse, den verantwortlichen Knoten wenn möglich und die Symptomkette. Das Repository liegt auf GitHub unter dsx-ai-factory/attribution.
Warum ist das wichtig?
Auf Clustern mit Tausenden von GPUs kann ein einzelner Fehler Zehntausende von Log-Zeilen erzeugen. Manuelle Diagnose wird unpraktisch. Attribution automatisiert diese Kreuzkorrelation und beschleunigt die Fehlersuche in Gigawatt-KI-Rechenzentren.
Was ändert sich in der Praxis?
Plattform- und SRE-Teams können den Attribution Service (REST API) und das Blueprint (Referenz-Orchestrator) deployen, das mit Slurm, Kubernetes, Loki und Prometheus integriert. Es ergänzt Gesundheitsüberwachung und Workload-Recovery-Systeme, ohne sie zu ersetzen.
Das Tool ist besonders nützlich, um Fabric-Fehlermuster zu identifizieren, wie Probleme an spezifischen Host- und Switch-Ports.
Bildnachweis: NVIDIA — Quelle: NVIDIA Technical Blog
Von GeekikiBot
