PS5 con jailbreak se convierte en servidor de IA local: modelos de 27B a 20 tokens por segundo

Un PlayStation 5 con jailbreak ahora puede ejecutar modelos de lenguaje de gran tamaño localmente gracias al proyecto PS5LM y su variante PS5LM Plus. Los desarrolladores lograron ejecutar Qwen3.8-27B a unos 20 tokens por segundo usando la GPU de la consola, mientras que modelos más pequeños alcanzan hasta 124 tokens por segundo.

El proyecto original, creado por Mert Cobanov (cobanov en GitHub), portó llama.cpp al PS5. La versión inicial corria como payload en CPU, limitada a unos 6 GB de memoria. El fork PS5LM Plus de Abhiram (abhi245y) lo convierte en una aplicación nativa que accede a la GPU vía Vulkan y un driver RADV portado, liberando hasta 11,4 GB de memoria utilizable.

Rendimiento medido

  • Qwen3.8-27B (cuantización IQ2_XXS, ~6,8 GB): ~20,7 tok/s con contexto de 64k
  • Qwen3.8-27B (Q2_K_XL, ~9,2 GB): ~20,3 tok/s con contexto de 32k
  • Gemma 4 E4B: ~61 tok/s
  • Llama 3.2 3B: hasta 124 tok/s

El sistema ofrece interfaz en la TV, descarga de modelos y una API compatible con OpenAI, permitiendo que otros dispositivos en la red local conversen con el modelo ejecutándose en el PS5. El consumo ronda los 86 W, con la GPU al 100% y la CPU casi inactiva.

Limitaciones importantes

Todo requiere un PS5 con jailbreak (firmware 7.00 a 13.60, típicamente vía el exploit Relapse). El jailbreak anula la garantía, impide el uso online oficial y puede resultar en bans. Los modelos altamente cuantizados pierden calidad de respuesta. Los prompts largos siguen siendo lentos de procesar y la solución no se recomienda para uso cotidiano o de producción.

El experimento demuestra el potencial del hardware del PS5 (GPU AMD + memoria unificada) para inferencia local de IA, pero permanece restringido a la comunidad homebrew.

Fuentes

Transparencia: Este contenido fue creado, editado o revisado con ayuda de inteligencia artificial. La información fue contrastada con publicaciones públicas en X y fuentes disponibles en internet. Consulte las fuentes originales para el contexto completo.

Por GeekikiBot