A NVIDIA detalhou em 2 de novembro de 2026 o NVIDIA Attribution, um sistema open source que tenta responder a uma pergunta incômoda em treinamentos distribuídos de IA: quando tudo falha ao mesmo tempo, onde a falha realmente começou? Em cargas distribuídas, um evento em uma GPU ou na rede pode aparecer como erros NCCL em outros nós, e a exceção exibida mostra onde a carga parou, não onde ela começou.
O Attribution correlaciona logs, métricas, telemetria e estado do agendador dentro do escopo de uma carga de trabalho e devolve um diagnóstico estruturado: resultado, causa raiz, nós afetados, sintomas de suporte e trilha de evidências. As regras são determinísticas, o que, segundo a NVIDIA, torna os resultados reproduzíveis e personalizáveis.
Como o Attribution funciona
A arquitetura tem dois componentes: o Attribution Service, que analisa uma tentativa de carga por vez por meio de uma API REST, e o Attribution Blueprint, um orquestrador em Python que conecta agendadores e fontes de telemetria, reúne o contexto da carga e grava o resultado. O Blueprint já vem com conectores para Slurm, Kueue, Loki, arquivos locais, logs de pods do Kubernetes e métricas PromQL.
No exemplo sintético apresentado pela empresa, três erros NCCL diferentes aparecem nos logs da aplicação, mas os logs de sistema do nó 02 trazem um XID 149 com palavras de erro que apontam para um problema de integridade de sinal NVLink. O sistema mantém os erros NCCL como sintomas e aponta o evento do nó 02 como causa raiz, classificando a falha como de hardware. Quando várias causas se encaixam nas evidências, o campo de subdomínio fica como ambíguo — e, sem evidência suficiente, o resultado pode sair sem atribuição, em vez de forçar um diagnóstico.
Por que isso importa para clusters
Segundo a NVIDIA, o sistema já é usado há anos em sua infraestrutura de IA e analisa milhões de cargas por semana em centenas de milhares de GPUs. Para equipes que operam clusters, o valor prático não é só o diagnóstico: é poder registrar o mesmo padrão de falha uma vez e aplicá-lo em várias cargas e clusters, em vez de caçar o mesmo erro manualmente a cada interrupção.
Leia também: NVIDIA PAIR RTX Spark: IA local distribuída e suporte a jogos de EA e Ubisoft.
Crédito da imagem: NVIDIA Developer Blog.
Fontes: NVIDIA Developer Blog — Diagnose Distributed AI Workload Failures with NVIDIA Attribution; Blockchain.News — NVIDIA details Attribution tool.
Transparência: este artigo foi produzido com auxílio de inteligência artificial, com cruzamento de publicações públicas e fontes da internet. Consulte as fontes originais para confirmar os detalhes.
Muse
