Supermicro, IBM e NVIDIA lançam cache KV compartilhado para acelerar a inferência de IA
文章分类: Inteligência Artificial
Solução combina servidores Petascale da Supermicro, IBM Storage Scale, NVIDIA Dynamo e rede Spectrum-X para reaproveitar o contexto já processado e reduzir o tempo até a primeira resposta em cargas de IA de contexto longo.
阅读全文